它是迈向实现高级机器智能的下一步,并且可能在制造自动化,监视分析,构建物流,机器人技术和其他更先进的用例中很有用。
在很大程度上要归功于AI,机器人技术已经在很长一段时间内走了很长一段路,但是在某些情况下,机器人仍在训练和需要适应的某些情况下继续挣扎。
本周,元(纳斯达克:元)表示,它已经通过其新的开源视频嵌入预测架构2(V-JEPA 2)克服了其中的一些重大障碍,这是第一个主要在视频中训练的世界模型。V-JEPA 2可以预测下一个动作,并响应以前与之相互作用的环境。
NEO4J的董事Ankit Chopra说,Meta最近的V-JEPA 2揭幕标志着AI Vision Systems的演变的安静但重大的转变,这是一位企业领导人可以忽略的。V-JEPA 2建立在自我监管的学习上,并针对代理,低估的使用,超越了传统计算机视觉的范围,引入了更精简且更具预测性的模型。”
在超过100万小时的视频中接受了预测任务的培训
梅塔说V-JEPA 2这是其第一个受视频训练的模型V-JEPA去年发布的后续措施,“在物理环境中的视觉理解和预测方面取得了最新的表现。当机器人成功浏览新设置时,它也可以用于零拍计划。
Northwest AI Consulting的AI顾问Wyatt Mayham说,该模型代表了真正的一步。他说:“机器人技术的核心挑战一直在不可预测的,非结构化的环境中运行。”V-JEPA 2肯定是为了解决这个问题。
12亿参数V-JEPA 2通过从超过一百万个小时的视频和一百万张图像中的自我监督学习中进行了培训。
META研究人员在一个中写道,这种丰富的视觉数据有助于模型了解世界的运作方式,包括人们如何与对象互动,物体如何在物理世界中移动以及对象如何与其他对象相互作用。博客文章。
该模型可以支持基础任务,例如到达,拾起对象并将其放置在新位置,在选择对象中达到65%至80%的成功率。他们写道,它具有运动的理解,可以预测并预测未来一秒钟的行动,并且在视频提问的基准测试中表现出色。
V-JEPA 2具有两个主要组成部分:一个编码器,该编码器处理原始视频和输出嵌入,以捕获有关世界的有用语义信息,以及一个预测变量,该预测变量会带有视频嵌入以及其他上下文以及预测嵌入的其他上下文和输出。
乔普拉说,这种进化具有深远的影响。V-JEPA 2不仅效率更高,还可以使AI系统能够理解,适应和进化,并通过操作工作流程进行适应和发展。”
迈向先进的机器智能的一步;模型性能的新基准测试
Meta说,V-JEPA 2是朝着实现高级机器智能(AMI)目标的下一步,在该目标中,AI代理可以在物理世界中有效运作。根据元研究人员的说法,这些模型应能够观察世界(包括识别对象,行动和动作);如果采取行动,预测世界将如何发展和改变;并计划实现给定目标的行动序列。
梅塔研究人员写道,当我们朝着实现AMI的目标努力时,重要的是,我们拥有可以像人类一样了解世界的AI系统,计划如何执行陌生的任务,并有效地适应我们周围不断变化的世界。
Meta还将发布三个新的基准测试,以评估模型如何使用视频来推理物理世界的程度。其中包括Intphys 2,它衡量了模型的能力,可以区分物理上可行的和难以置信的物理破坏场景,最小视频对(MVPBENCE)(MVPBENCE),该方案通过多种选择问题和CausalVQA来测试模型的物理理解能力,以及衡量与身体因果关系相关的问题的能力。
企业中的潜在用例
Neo4j的Chopra指出,当前模型依赖于标记的数据和明确的视觉特征。另一方面,V-JEPA 2的重点是推断潜在空间中的缺失信息,本质上可以捕获抽象的关系和从上下文中学习而不是像素完美的细节。”
Chopra说,这意味着它可以在数据稀疏的不可预测的环境中可靠地发挥作用,这使得它特别适合于用例,包括制造自动化,监视分析,构建物流或机器人技术。其他用例可能包括自动设备监控,预测性维护和低光检查。Meta自己的数据中心操作可以作为初始测试场。而且,随着时间的流逝,它可以为更先进的场景提供动力,例如执行自我诊断的自动驾驶汽车并启动机器人维修。
乔普拉说,最终,V-JEPA 2标志着从被动看法转变为主动决策,以及一个新的自动化阶段,而不是只能看到,而是行为。”
他说,对于负责现代化工业系统,降低维护成本或扩展自动化而不持续不断再培训的决策者,V-JEPA 2介绍了一本新的剧本。”它为可以在低可见性环境中操作或动态响应变化的输入,为物流,基础架构和防御等部门的关键功能而动态响应的自学系统打开了大门。”
西北AI咨询公司Mayham说,仍然有很多关于机器人的炒作,但许多人只在受控的环境中表现良好。AI确实提高了适应性,V-JEPA 2允许机器人在采取行动之前思考,但是还有待观察它在边缘用例中的表现。
Mayham说,这确实看起来确实是真正的进步。但是,一旦您将它们部署在实验室外,模型通常会令人失望。
他指出,但这是一个快速发展的领域,并且公司建立用于制造,交付或监视的自动级系统最终应押注适应性的AI。Mayham说,企业应立即密切监视并开始策划合作伙伴关系。”
更多元新闻:
订阅我们的新闻通讯
从我们的编辑直接到您的收件箱
通过在下面输入您的电子邮件地址开始。