OC

Adobe的AI视频模型已经问世，并且已经在Premiere Pro中投入使用。

2024-10-14 13:00:00 英文原文

Adobe 正在进入生成式人工智能视频领域。该公司正在萤火虫视频模型，其包含被取笑过自今年年初以来，今天将推出一系列新的工具，包括一些直接内置在Premiere Pro中的工具，这些工具将允许创作者扩展视频素材并从静态图像和文本提示生成视频。

第一个工具——生成扩展（Generative Extend）——正在Premiere Pro上以测试版形式推出。它可以用于延长略显短的视频片段的开头或结尾，或者在镜头中间进行调整，例如纠正视线的变化或意外的动作。

片段只能延长两秒钟，因此生成式扩展功能仅适用于小的调整，但这可以替代重新拍摄以纠正微小问题的需求。延长后的片段可以在720p或1080p分辨率下以每秒24帧生成。它也可以用于音频，以帮助平滑编辑过程，尽管存在一定的限制。例如，它可以将音效和环境“房间音”延长最多十秒钟，但不能应用于语音对话或音乐。

The new Generative Extend tool in Premiere Pro can fill gaps in footage that would ordinarily require a full reshoot, such as adding a few extra steps to this person walking next to a car.

Premiere Pro 中的新生成扩展工具可以填补通常需要重新拍摄才能完成的镜头缺口，例如在一个人走在车旁的情况下添加几个额外的动作步骤。

图像:Adobe

另外两个视频生成工具即将在网页上推出。Adobe的Text-to-Video和Image-to-Video工具首先亮相，九月宣布现在作为有限的公开测试版在Firefly网页应用中推出。

文字转视频的功能与其他视频生成工具类似如下：跑道以及开放人工智能的Sora用户只需要输入他们想要生成的内容的文字描述。它可以模拟各种风格，如常规的“真实”电影、3D动画和定格动画，并且生成的片段可以通过一系列“相机控制”选项进一步精炼，这些选项可以模拟不同的摄像机角度、运动和拍摄距离。

A screenshot showing the camera control options for Adobe’s text-to-video Firefly AI model.

这是相机控制选项的一部分，用于调整生成的输出。

图片：Adobe

Image-to-Video 更进一步，允许用户在文本提示旁边添加参考图像，以提供更多对结果的控制。Adobe建议这可以用于从图片和照片生成b-roll素材，或通过上传现有视频中的静止画面来帮助可视化重新拍摄的画面。然而，下面的示例显示了“事前”和“事后”的对比，表明这种方法实际上并不能直接替代重新拍摄，因为结果显示中仍然存在诸如晃动的电缆和移动的背景等错误。

Here’s the original clip...

这里是最原始的片段...

视频：Adobe

...and this is what it looks like Image-to-Video ‘remakes’ the footage. Notice how the yellow cable is wobbling for no reason?

.这便是图像转视频“重制”的效果。注意黄色的线缆无缘无故地在抖动吗？

视频：Adobe

你也不会很快就能用这项技术制作完整的电影。当前，Text-to-Video和Image-to-Video片段的最大长度为五秒钟，质量上限为720p和每秒24帧。相比之下，OpenAI表示Sora可以“在保持视觉质量和符合用户的提示的情况下”生成长达一分钟的视频——但这是尚未对公众开放尽管在Adobe工具发布前几个月就已经宣布了。

The model is restricted to producing clips that are around four seconds long, like this example of an AI-generated baby dragon scrambling around in magma.

该模型限制生成大约四秒钟的片段，例如这个由人工智能生成的小龙在岩浆中爬动的例子。

视频：Adobe

文本到视频、图像到视频和生成扩展大约都需要90秒来生成，但Adobe表示正在开发一种“涡轮模式”以缩短这个时间。尽管有所限制，Adobe称其由AI视频模型驱动的工具是“商业上安全”的，因为这些工具是在创意软件巨头被许可使用的数据上进行训练的。鉴于其他提供商如Runway的模型因据称在未经许可的数据上接受训练而受到审查，数千个被抓取的YouTube视频——或者在Meta的情况下，也许甚至是你的个人的视频商业可行性可能会成为一些用户达成交易的关键因素。

另一个好处是使用Adobe的Firefly视频模型创建或编辑的视频可以被包含内容凭证帮助在在线发布时披露AI使用和所有权权利。这些工具何时会脱离测试阶段尚不清楚，但至少它们已经公开可用——这比我们能说的更多了。开放人工智能的Sora, Meta的Movie Gen，和 谷歌的Veo生成器。

今天的Adobe MAX大会上宣布了AI视频的发布，该公司还推出了多个由人工智能驱动的功能在其创意应用中。

关于《Adobe的AI视频模型已经问世，并且已经在Premiere Pro中投入使用。》的评论

暂无评论

发表评论



摘要

Adobe 正在进军生成式 AI 视频领域。该公司自今年早些时候以来就一直在宣传的 Firefly Video Model 今天将在几款新工具中推出，其中包括一些直接集成到 Premiere Pro 中的功能，这些功能将允许创意人员扩展视频片段并从静态图片和文本提示生成视频。扩展的片段可以以每秒 24 帧的速度在 720p 或 1080p 分辨率下生成。Premiere Pro 中的新生成扩展工具可以在普通情况下需要重新拍摄整个场景的地方填补镜头中的空白，例如在这个人沿着汽车旁边行走的过程中添加几个额外的动作步骤。这些工具何时会正式推出尚不清楚，但至少它们已经公开发布——这比 OpenAI 的 Sora、Meta 的 Movie Gen 和 Google 的 Veo 生成器更为透明。

相关新闻

相关讨论