作者:Lucas Manfredi
随着亚马逊寻求利用人工智能的快速发展,这家科技巨头已将这项技术融入到 Prime Video 的多项功能中,旨在让该平台更加高效、身临其境,并且更容易为全球 2 亿月度活跃用户导航,包括美国 1.15 亿
这包括人工智能通过分析视频片段和字幕生成的剧集甚至季节摘要。周四橄榄球之夜还有一个人工智能驱动的弹出功能,可以提供有关 NFL 比赛期间球员和球队的见解。当然,还有个性化功能,可以推荐观众接下来应该观看的内容。虽然这些个性化以前是由传统人工智能提供支持的,但生成式人工智能已经增强了这一举措。
– 我们在人工智能领域已经工作了 20 多年。因此,我们围绕内容、发现和个性化所做的一切都是人工智能驱动的,这是我们服务的核心,”Prime Video 产品副总裁 Adam Gray 在独家采访中告诉 TheWrap。– 当您希望成为客户的第一站娱乐目的地,让他们将所有订阅集中在一个地方时,您提供的实际上是一种轻松找到最佳电影、电视节目和体育直播的方式为您渡过这一切。 –
格雷表示,以人工智能为中心的改进正在推动平台的参与度。例如,该公司表示,Prime Video 的新 X-Ray Recap 功能是 Fire TV 上该服务应用程序迄今为止最常用的功能。
“我们对各个功能的参与度非常满意,我们的重点是是否有我们可以解决的实际问题,”格雷补充道。“因此,当我们推出功能时,我们会查看它们是否以这种方式使用,然后我们如何在此基础上进行开发。”
Prime Video 的主要生成式人工智能升级之一是个性化形式,该技术可帮助用户找到与他们最喜欢的选择具有相似情节和人物弧线的电影和节目,从而提出更相关的内容推荐。它还根据用户的兴趣将标题分组为“为您打造”系列。
– 在推荐方面,我们始终试图解决的基本问题之一是尝试了解客户的习惯和需求,这是非常非常复杂的。我们拥有从客户那里获得的流媒体历史记录,并通过这些历史记录了解他们的品味和习惯。”Prime Video 技术副总裁 Girish Bajaj 解释道。
– 创建内容及其许多不同维度时还需要大量的创意意图。因此,理解内容本身是我们必须建立的另一个专业领域,”他继续说道。– 当您非常了解客户并且非常了解内容时,您就可以建立关系并开始推荐真正适合客户的内容。 –
该功能由 Amazon BedRock 提供支持,这是 Amazon Web Services (AWS) 提供的一项完全托管服务,用于使用基础模型构建和扩展生成式 AI 应用程序。
“多年来,我们一直在使用传统的 AI 机器学习模型进行推荐,而生成式 AI 为我们打开了一扇新的大门,使其对客户更具影响力和更有意义,”Bajaj 补充道。“这帮助我们更深入地理解内容本身的语义本质和属性。”
此外,Prime Video 还具有对话增强功能,该功能使用人工智能来分析电影或连续剧的音频,识别对话可能难以听到的点,隔离语音模式并增强音频,以帮助观众听清包括英语在内的语言中的每个单词。、西班牙语、法语、意大利语、德语、葡萄牙语和印地语。
它还提供音频描述,这是一种人工智能驱动的旁白工具,可以描述视频的关键视觉元素,使盲人和视障用户更容易理解内容。该技术可以识别对话中的空白,帮助 Prime Video 的制作团队更快地构建音频描述脚本。
Bedrock 的模型以及在 Amazon SageMaker 上训练的 AI 模型也被用于 Prime Video 最近推出的 X-Ray Recaps,它可以分析视频片段,结合字幕或对话,生成关键内容的详细描述所有标题中特定剧集甚至整个季节的事件、地点、时间和对话。
– 如果使用传统方法来做到这一点,其开发成本将呈指数级高。它的生成式人工智能方法极大地降低了大规模开发和部署的成本。”Bajaj 解释道。– Amazon Bedrock 确实为我们提供了一种快速跟踪这一开发并将其提供给客户的方法。我们知道客户想要这种东西,他们也使用它。”
“迄今为止,当人们进行此类回顾时,仅针对最优质的内容,因为手动进行的成本非常昂贵,”格雷指出。– 因此,在我们规模的目录中的每个标题上执行此操作的想法是只有借助人工智能的力量才能实现的解决方案。 –
护栏还用于确保生成无剧透且简洁的摘要,并由 Prime Video 的制作团队监督。
– 当我们最初构建这些功能时,需要大量的手动工作来确保质量,随着我们的改进,随着我们对所使用的提示的护栏越来越好,随着时间的推移,我们需要的工作越来越少,”Bajaj 说道。“您继续让人工人员参与审核,以确保质量持续下去,但最初的提升会更高,然后随着您的改进,规模就会扩大。”
Prime Video 的“周四橄榄球之夜”也将 AI 融入其体育赛事直播的呈现中,这是与“TNF”制作人、工程师、前 NFL 球员和 Prime Video Sports 合作开发的计算机视觉团队。Prime Insights 突出显示关键人物,阐明游戏隐藏的方面,并在关键时刻发生之前进行预测。
– 如果你看看 NFL,就会发现他们在 25 年前就引入了首轮黄线,这确实让其变得更加容易。自那以后,在我们研究如何使用人工智能来改变这一现状之前,几乎没有任何实际创新。因此,我们正在研究如何让游戏更容易被人们使用和理解,”格雷解释道。– 基本想法是对于观看者来说,我们希望他们能够获得更加身临其境的体验,因为游戏中发生的事情有很多丰富的细节。 –
防守警报会在开球前追踪防守球员,并实时识别可能冲向四分卫的“感兴趣的球员”。
– 它会查看数千个数据点、球员的位置及其动作,以突出显示可能给四分卫带来压力的比赛。我们在它们下面放了一个红色球体,”格雷补充道。“这是开始能够像四分卫或进攻协调员一样观看比赛的一个很好的例子。”
Prime Video 还将在未来几周内推出一项名为“压力警报”的扩展功能,该功能可在实况比赛中跟踪攻击进攻后场的防守球员,并突出显示那些能够扰乱比赛的球员,以及覆盖范围识别功能,该功能结合了人工智能模型通过实时球员跟踪数据,在比赛开始前为球迷实时识别防守方案,例如盯人防守或区域联防。
尽管两人拒绝透露未来可能出现的其他人工智能生成功能,但他们强调流媒体服务才刚刚开始。
– 我们能够大规模开展工作、围绕发现内容以及在客户观看内容时提供更身临其境的体验的唯一方法是通过人工智能。所以你会看到这种情况正在加速,”格雷说。– 团队正在真正学习如何更快地行动、创新和使用它。因此,这实际上是构建方式的整个结构的改变。”
“实际上,Prime Video 中的每个团队都在倾向于人工智能和生成式人工智能,每个团队,”Bajaj 补充道。– 所以还有更多的事情要做。 –