作者:Audrey Schomer
“干净”的形象和视频生成该模型专门针对“道德来源”数据进行训练,目前正定位于企业级生产好莱坞明年作为被指控数据抓取的科技巨头产品的替代方案。
新型号被称为“Marey”,以早期电影先驱安蒂安-朱尔斯·马雷 (Átienne-Jules Marey) 的名字命名,将于 2025 年 1 月或 2 月上市。独家行业调查本月早些时候指出——最新在一个系列中近年来综艺智库发布——娱乐行业目前正处于AI技术的深度探索阶段。
该模型来自洛杉矶的生成视频人工智能研究初创公司 Moonvalley 与“艺术家主导”的合作AI影视动画工作室 星辰电影,归非小说类电影电视工作室所有XTR。两家公司在过去六个月中密切合作开发,将共同拥有和控制该模型。
对于 Moonvalley 和 Asteria 来说,Marey 模型与市场上其他视频模型的最重要区别在于,它专门使用经内容所有者许可和付费提供的数据进行训练。
用于训练 Marey 模型的数据集的绝大多数由内容组成 Moonvalley许可的根据不同的多年协议数据提供商合作伙伴,主要来自选择加入并有选择地提供其数据的创作者。对于数据集的其余部分,Moonvalley 购买了小型专业数据集的权利,甚至寻求 Asteria 制作团队的帮助,在其工作室中创建全新的镜头,以填补数据集中缺失的特定空白。
相比之下,大多数生成式人工智能公司根据从网络上抓取的“公开可用”数据来训练模型,其中一些数据受版权保护,他们根据美国版权法将其视为合理使用。一些领先的视频生成模型就是如此。
OpenAI 发布了期待已久的人工智能视频工具 Sora 上周表示它将是 –不可能的Ø 在不使用受版权保护的材料的情况下训练人工智能模型。前 OpenAI 首席技术官 Mira Murati没有——Sora 在接受采访时否认接受过 YouTube 视频培训。根据一家公司的说法,Meta 在“许可和公开可用数据集的组合”上训练了其最新的视频模型 Movie Gen。博客邮政。
404媒体报告建议生成视频初创公司 Runway 在来自娱乐公司 Netflix、迪士尼、任天堂和主要社交媒体创作者的 YouTube 频道的数千个视频上训练其视频模型。
Mooser 和 Taldukar 认为,为了使生成式人工智能在好莱坞“可用”,大型工作室、艺术家电影制作人需要一个人工智能模型,以清除此类未经许可的使用直接产生的法律复杂性和道德危害。用于训练人工智能模型的受版权保护的数据。
首席执行官 Bryn Mooser 表示:“人工智能是好莱坞未来的强大工具,但只有构建出一个干净的模型(未接受其他人被盗数据的训练)后,它才可用。”XTR 和 Asteria 的。Mooser 是一位获得奥斯卡提名的电影制作人,此前曾与他人共同创立了沉浸式娱乐工作室 RYOT,该工作室于 2016 年被《赫芬顿邮报》收购。
“为了让创作者能够使用并支持生成式人工智能,必须以尊重创作者及其所在行业的方式对其进行培训和构建,”Moonvalley 联合创始人首席执行官纳伊姆·塔鲁克达尔 (Naeem Talukdar) 表示种类。“忽视或对数据的实际来源漠不关心的问题在于,你最疏远的人正是你需要为之构建这项技术的人。”
最初,两家公司的 Marey 模型将主要用于 Asteria 的艺术家和电影制作人的工作流程中,以制作动画、小说和非小说类电影和电视项目。
Asteria 和 Moonvalley 还计划提供 Marey 作为企业软件解决方案,并且 Asteria 正在与好莱坞的主要独立工作室就合作伙伴关系进行早期讨论,在这种合作伙伴关系中,Asteria 和 Moonvalley 将能够开发该工具的定制版本并就制作工作流程提供建议以满足特定工作室项目的需求。
与其他生成视频软件中提供的功能类似,Marey 将提供包括文本到视频、图像和视频到视频以及自定义模型创建(也称为微调)的功能。Moonvalley 还打算在模型中构建精细的创意控制功能,Talukdar 表示,一旦模型经过全面培训并发布,这将是该团队到 2025 年的最大关注点。
– 为了使生成模型对创意团队或工作室有用,他们应该能够控制模型,其准确度和精确度与他们对制作布景、摄像机、灯光、或场景构图,”Talukdar 说。
Moonvalley 和 Asteria 仍面临竞争视频生成模型OpenAI 和 Runway、Luma Labs、Black Forest Labs、Pika 和 Stability AI 等初创公司涌入市场,更不用说来自中国的众多竞争者。科技巨头 Meta 和 Google 正在开发自己的视频模型,电影一代和 Veo 2,尽管两者都没有公开发布。
与此同时,Adobe 正在采取与 Marey 模型类似的方法,其萤火虫视频模型。Adobe 目前仅提供有限的公开测试版,并将其视频模型描述为对企业和专业客户而言“商业安全”,因为仅对公司有权使用的内容进行培训。
其中一些人工智能公司也渴望与好莱坞工作室和电影制片人合作,其中一些公司已经采取了早期措施与他们合作。九月,狮门影业进入与跑道合作开发一个专门供狮门影业及其电影制片人内部使用的联合管理视频模型,并根据电影制片厂自己的一些目录进行培训。
其他主要工作室也在幕后进行类似的对话。《阿凡达》导演詹姆斯·卡梅隆加入Stability AI 的董事会。布卢姆豪斯恐怖工作室参加了在 Meta’s Movie Gen 的试点项目中。
在宣布合作伙伴关系之前,Asteria Film Co. 于 9 月份收购了人工智能动画工作室 Late Night Labs,并在非小说类工作室 XTR 下正式成立。此前,Moonvalley 在 11 月宣布了一轮 7000 万美元的融资,由 General Catalyst 和 Khosla Ventures 领投,Bessemer Ventures 参与。
Moonvalley 一直专注于为创意人员构建视频生成模型,目前团队由约 30 名生成式 AI 研究人员组成,他们曾在 DeepMind、Meta、TikTok 和 Microsoft 工作过。Moonvalley 的创始团队还包括 Mooser,他领导着 Asteria 的 30 人创意团队(如上图所示,包括 Moonvalley 研究人员),在洛杉矶的 Mack Sennett 摄影棚工作。