Meta宣布推出新的AI模型,可以生成带有声音的视频

2024-10-04 16:55:00 英文原文

元数据Facebook和Instagram的所有者在周五宣布,他们建立了一个新的人工智能模型叫做Movie Gen,该模型可以根据用户的提示生成看起来非常真实的视频和音频片段,并声称它可以与OpenAI和ElevenLabs等领先的媒体生成初创公司的工具相媲美。

电影基因(Movie Gen)创作的作品样本由元数据展示了动物游泳和冲浪的视频,以及使用人们的真实照片来描绘他们进行如在画布上作画等动作的片段。

电影Gen还可以生成与视频内容同步的背景音乐和音效,Meta在一篇博客文章中表示。用户还可以用该模型编辑现有的视频。

在一段这样的视频中,Meta 让该工具将毛球插入一个独自在沙漠中奔跑的男子手中,而在另一段视频中,它将一名正在滑板的男子所在的停车场从干燥地面变成了一个被溅水坑覆盖的地方。

Meta表示,由Movie Gen生成的视频最长可以达到16秒,而音频则可以长达45秒。它分享了盲测数据,显示该模型的表现优于包括Runway、OpenAI、ElevenLabs和Kling在内的初创公司的产品。

使用Meta新模型生成的AI片段——视频

该公告发布之际,好莱坞一直在努力应对如何在今年利用生成式人工智能视频技术的问题,此前由微软支持的OpenAI在二月份首次展示了这项技术的应用。其产品Sora能够根据文字提示创建类似电影的作品。

娱乐行业的技术人员急切地希望使用此类工具来增强和加速电影制作,而另一些人则担心采用那些似乎在未经许可的情况下基于版权作品进行训练的系统。

立法者还强调了他们对人工智能生成的虚假信息(包括深度伪造)在世界各地选举中的使用情况的关注,包括在美国、巴基斯坦、印度和印尼。

Meta的发言人表示,该公司不太可能像对待其Llama系列大型语言模型那样,向开发者开放Movie Gen的使用,因为公司会单独评估每个模型的风险。他们拒绝就对Movie Gen的具体评估发表评论。

他们表示,Meta 正在直接与娱乐界和其他内容创作者合作,探讨 Movie Gen 的应用,并计划在明年将其整合到 Meta 自家的产品中。

跳过过去期Newsletter推广

根据Meta发布的一篇博客文章和一篇关于该工具的研究论文,该公司使用了混合的授权数据集和公开可用的数据集来构建Movie Gen。

OpenAI今年与好莱坞的高管和经纪人们会面,讨论了可能涉及Sora的合作关系,尽管目前还没有报道说这些会谈达成了任何协议。公司在五月的做法增加了人们的担忧。斯嘉丽·约翰逊被指控抄袭她的声音未经许可用于其聊天机器人的人是ChatGPT的创建者。

狮门娱乐公司(《饥饿游戏》和《暮光之城》的制作方)在九月份宣布,将向AI初创公司Runway开放其电影和电视图书馆,以训练一个AI模型。作为回报,该公司及其电影制作者可以使用该模型来增强他们的工作。

关于《Meta宣布推出新的AI模型,可以生成带有声音的视频》
暂无评论

摘要

Meta,即Facebook和Instagram的所有者,在周五宣布其已经开发出一个新的名为Movie Gen的人工智能模型,该模型可以根据用户的提示生成逼真的视频和音频片段,并声称它可以与OpenAI和ElevenLabs等领先媒体生成初创企业的工具相媲美。Meta提供的Movie Gen创作样本包括动物游泳和冲浪的视频,以及使用人们的实际照片描绘他们正在画布上作画之类的片段。用户还可以用该模型编辑现有的视频。娱乐行业的技术专家渴望利用此类工具来增强并加速电影制作过程,而另一些人则担心拥抱那些似乎未经许可就在版权作品上进行训练的系统。Meta发言人表示,该公司不太可能像对Llama系列大型语言模型那样向开发者开放使用Movie Gen,因为它是单独评估每个模型的风险。