跑道是我的最爱人工智能视频生成器它具有灵活的功能、选项和能力,加上令人印象深刻的逼真运动和视觉风格,使其成为全能型工具。随着Runway的最新更新,你现在可以更好地控制它以图像作为视频起点的方式。
追随的脚步者Luma Labs 梦想机器以及Kling,你现在可以给予 runway Gen-3 涡轮版视频的第一帧和最后一帧。然后它会填补它们之间的空白,将其转换为10秒的视频。理论上,这允许更大的控制程度。实际上,你可能会得到一些奇怪的结果。
你可以将文本提示完全留空,让AI自行处理从第一帧到最后一帧的过渡,或者你可以创建自己的描述来说明运动应该怎样进行。
测试Runway Gen-3
Runway关键帧过渡 - YouTube
为了更好地了解这种转换的效果,我创建了15组图像对Midjourney第一个和最后一个图像用于可能的逻辑过渡。意思是说一个用来开始视频,另一个用来结束视频。
然后我参考了Runway的提示指南,为每一对图像制定了一种过渡描述。经过一番筛选后,我最终确定了五对图像。Midjourney图片无法显示,或者在试图从T-Rex过渡到Seagull的情况下,过渡没有成功。
以下是最终的五个选项,包括图像提示和过渡提示,如果你想亲自尝试每个选项。如果你留言,我可能会分享霸王龙配对。
城市到自然的转型
首先,让我们看看是否可以将场景从城市切换到森林。所有的大城市中间都会有大片的森林、林地或公园,所以为什么不试试看能否让AI在两个场景之间无缝切换呢?
开始图像提示:一条繁忙的城市街道,高楼林立,车辆和行人来往不绝。天空明亮,现代的玻璃建筑反射着阳光。
结束图片提示:一片宁静的森林景象,高大的树木,茂密的绿植,以及一条宁静的小河。阳光柔和地透过树叶洒落下来。
转换提示:缓慢的追踪镜头下,繁华的城市街道渐渐淡出,变成一片绿色的森林,远处的摩天大楼被茂密的植被部分遮挡。城市的喧嚣声逐渐减弱,大自然开始占据主导地位,鸟儿的鸣叫声取代了汽车的声音。
结果有点参差不齐,部分过渡效果不错,但奇怪的是中间会出现树木或者完全切断雕像的头部。
2. 从白天到夜晚的乡村景象
接下来,我们将前往农田区域,但主要是看看AI能否处理从白天到夜晚的过渡,而不是为了查看特定作物。
开始图像提示:"一片朝气蓬勃的田野,在日出时分,金色的麦浪在微风中摇曳,远处有一座谷仓,柔和的阳光照亮了天空。"
结束图像提示:寂静的星空下的同一片田野,谷仓轮廓分明,新月和星星在上方闪烁。
过渡提示:延时效果展示着明媚的白昼逐渐暗淡,金黄色的麦田慢慢变得昏暗。阳光在谷仓后消失,星星开始在天空中闪烁,新月出现,柔和的光芒洒在了此刻宁静的田野上。
这是我很喜欢的一次过渡,在图像并不完全对齐的情况下仍然处理得非常顺利。
3. 从古老废墟到未来城市
我用Midjourney生成的图片比我预期的更加写实,但看起来很不错,所以我保留了它。我喜欢摩天大楼那种较暗的感觉,不过它们会不会相互融合呢?
开始图像提示:覆盖着藤蔓的古代石质废墟,建筑物上有裂缝,大自然正在重新占据这片空间,周围是一片茂密的丛林。
结束图片提示:一座未来城市的天际线,拥有光滑的金属摩天大楼,霓虹灯光在黑暗的天空中闪烁,先进的技术在空气中嗡嗡作响。
过渡提示:镜头缓缓上升,古老的废墟慢慢融入未来的摩天大楼之中。藤蔓退去,霓虹灯开始闪烁,石制建筑被闪耀的金属塔楼所取代。丛林变成了高科技的城市景观,布满了发光的全息图像。
我对于结果感到非常意外。它没有如预期般“缓慢合并”,即在废墟中逐渐建造起摩天大楼,但过渡效果真的很令人印象深刻。我喜欢部分废墟保留了下来,并且我们在其旁边继续前进。
4. 从沙漠到绿洲
什么比沙漠中的绿洲更好?一个在播放" Wonderwall!"的绿洲。这里,我们将AI从沙漠场景过渡到壮观的绿洲。
开始图像提示:一片浩瀚的沙漠,沙丘连绵起伏,烈日当空,除了远处因高温而产生的海市蜃楼般的幻影之外,没有任何生命的迹象。
结束图片提示:"一个繁茂的绿洲,里面有棕榈树、清澈闪亮的池塘和一个小瀑布流入水中,周围被绿色植物环绕。"
转换提示:“镜头缓缓扫过沙丘,沙漠渐渐变为绿洲。太阳光略微减弱,碧绿的棕榈树逐渐出现在一个闪烁的池塘周围,而这个池塘曾只是地平线上的一片海市蜃楼。荒凉的沙地让位于茂盛的绿色植被。”
结果与我的预期不同。我给它提供了一张相当宽泛的沙漠景象,所以原本希望得到一个横向的镜头移动,但最终的结果我很喜欢。
5. 从马车到汽车
最后,我们将要求人工智能从一辆乡村手推车和马车的图像过渡到一辆汽车的图像,两者都在乡间道路上行驶。希望它们在行驶过程中能够实现无缝转换。
开始图像提示:“一辆传统的马车沿着泥土路前行,阳光照耀在古老的乡村风景上,远处有木栅栏和一个小谷仓。”
结束图片提示:一辆现代而流畅的汽车在铺设好的道路上行驶,乡村现在被平整的沥青路面和路边排列的电话杆所改造,远处可以看到一座加油站。
过渡提示:随着马车逐渐远去,泥土路变成了柏油路,马车也进化成了汽车。乡村变得更加现代化,栅栏变成了护栏,谷仓也被新的建筑取代。
我差点放弃了这个。尝试了五次才得到了我希望的过渡效果。有几个接近,包括一个随机卡车从后面开到马车旁,然后切换到汽车视角再转回马车视角的版本。最后我还是得到了想要的效果。