型号
- 出版
- 作者
我们介绍了具有通用灵巧性和快速任务适应的高效，设备机器人的模型。
三月，我们介绍了双子座机器人技术，我们最先进的VLA（视觉语言动作）模型，将Gemini 2.0的多模式推理和现实世界的理解带入了物理世界。
今天，我们介绍了Gemini Robotics Ondevice，这是我们最强大的VLA模型，该模型已优化，可以在机器人设备上进行本地运行。双子座机器人技术在设备上显示出强大的通用敏捷性和任务概括，并且优化了在机器人本身上有效运行的。
由于该模型独立于数据网络运行，因此对延迟敏感应用程序有帮助，并确保在连接或零连接性的环境中稳健性。
我们还分享了双子座机器人SDK为了帮助开发人员在其任务和环境上轻松评估双子座机器人技术，请在我们的任务和环境中测试我们的模型mujoco物理模拟器，并将其迅速调整到新领域，只有50至100个演示。开发人员可以通过注册我们值得信赖的测试仪程序来访问SDK。
模型功能和性能
Gemini机器人技术机器人是双臂机器人的机器人基础模型，该模型设计为需要最少的计算资源。它建立在双子座机器人技术的任务概括和敏捷功能的基础上，并且是：
- 设计用于快速进行灵巧操作。
- 通过微调来适应新任务，以提高性能。
- 优化以使用低延迟推断本地运行。
双子座机器人技术在广泛的测试场景中实现了强大的视觉，语义和行为概括，遵循自然语言指令，并完成了直接在机器人上操作时，完成了诸如无拉链袋或折叠衣服的高度脱颖而出的任务。
在我们的评估中，我们的设备模式在完全本地运行时表现出强大的概括性能。
与我们的旗舰双子座机器人技术模型和先前的最佳智障模型相比，评估双子座机器人技术的概括性能的图表。
Gemini机器人技术在设备上还表现出更具挑战性的分发任务和复杂的多步骤指令的其他内在替代方案。对于寻求最先进的开发人员，在这些设置中，没有设备限制，我们还提供了双子座机器人模型。
与我们的旗舰双子座机器人技术模型和先前的最佳智障模型相比，在性能之后评估双子座机器人技术的图表。
要了解有关我们的评估的更多信息，请阅读我们的双子座机器人技术报告。
适应新任务，可跨实施例
Gemini Robotics On Device是我们为微调提供的第一个VLA型号。尽管许多任务都可以开箱即用，但开发人员还可以选择适应该模型以实现其应用程序的更好性能。我们的模型迅速适应了新任务，只有50到100个演示表明，这种设备模型可以将其基本知识推广到新任务的程度。
在这里，我们展示了Gemini Robotics On Device在涉及对较新型号的微调的任务上的最佳，最佳的设备VLA的表现。我们对七个难度不同的七个灵巧的操纵任务进行了测试，包括拉开午餐盒，画卡和倒沙拉调味料。
图表显示了Gemini Robotics On Device的任务适应性能，少于100个示例。
我们进一步将Gemini机器人术模型转化为不同的机器人实施例。当我们仅培训模型时阿罗哈机器人，我们能够进一步适应双臂Franka FR3机器人和阿波罗人形机器人由Apptronik。
在双臂弗兰加（Bi-Arm Franka）上，该模型执行以下通用说明，包括处理以前看不见的对象和场景，完成诸如折叠礼服或执行的灵活任务工业带组装任务这需要精确和灵巧。
在Apollo类人动物上，我们将模型调整为明显不同的实施例。相同的通才模型可以遵循自然语言指示并以一般方式操纵不同的对象，包括以前看不见的对象。
负责任的发展和安全
我们将所有双子座机器人技术模型都与我们的人工智能原则并应用整体安全方法跨越语义和物理安全。
实际上，我们使用现场API，并将模型与低级安全关键控制器接口以执行操作。我们建议在我们最近开发的语义安全基准和表演红队练习在各个层面上暴露了模型的安全漏洞。
我们负责任的开发与创新（REDI）团队继续分析和建议所有双子座机器人模型的现实影响，找到最大化其社会影响并最大程度地降低风险的方法。然后，我们的责任与安全委员会（RSC）审查了这些评估，提供了反馈以集成到模型开发中，以帮助进一步最大化利益并最大程度地降低风险。
为了更深入地了解双子座机器人技术的使用和安全性并收集反馈，我们最初将其释放到一组受信任的测试人员组中。
加速机器人创新
Gemini机器人技术在设备上标志着使强大的机器人模型更易于访问和适应能力迈出的一步，我们的设备解决方案将有助于机器人社区解决重要的延迟和连接性挑战。
Gemini Robotics SDK将通过允许开发人员适应其特定需求来进一步加速创新。通过我们的注册模型和SDK访问受信任的测试仪程序。
当我们继续探索将AI带入物理世界的未来时，我们很高兴看到机器人技术社区将使用这些新工具构建什么。
致谢
我们非常感谢Abbas Abdolmaleki，Saminda Abeyruwan，Joshua Ainslie，Jean-Baptiste Alayrac，Montserrat Gonzalez Arenas，Travis Artsrong，Travis Artstrong，Maria Attarian，Maria Barakrishna，Ashwin Barakrishna，Clan barana baara barbarana barbarana barbarana barbarana barbara barbarana barbara natrana bara natrana bara， Batchelor, Maria Bauza, Lucas Beyer, Michael Bloesch, Michiel Blokzijl, Steven Bohez, Konstantinos Bousmalis, Demetra Brady, Philemon Brakel, Anthony Brohan, Thomas Buschmann, Arunkumar Byravan, Kendra Byrne, Serkan Cabi, Ken Caluwaerts, Federico Casarini, Christine Chan, Oscar Chang, Jose Enrique Chen, Xi Chen, Huizhong Chen, Hao-Tien Lewis Chiang, Krzysztof Choromanski, Adrian Collister, Kieran Connell, David D'Ambrosio, Sudeep Dasari, Todor Davchev, Coline Devin, Norman Di Palo, Tianli Ding, Adil Dostmohamed, Anca Dragan, Yilun Du, Debidatta Dwibedi, Michael Elabd, Tom Erez, Claudio Fantacci, Cody Fong, Erik Frey, Chuyuan Fu, Frankie Garcia, Ashley Gibb, Marissa Giustina, Keerthana Gopalakrishnan, Laura Graesser, Simon Green, Oliver Groth, Roland Hafner, Leonard Hasenclever, Sam Haves, Nicolas Heess, Brandon Hernaez, Tim Hertweck, Alexander Herzog, R. Alex Hofer, Sandy H Huang, Jan Humplik , Atil Iscen, Mithun George Jacob, Deepali Jain, Sally Jesmonth, Ryan Julian, Dmitry Kalashnikov, M. Emre Karagozler, Stefani Karp, Chase Kew, Jerad Kirkland, Sean Kirmani, Yuheng Kuang, Thomas Lampe, Antoine Laurens, Isabel Leal, Alex X. Lee, Tsang-Wei Edward Lee, Jennie Lees, Jacky Liang, Yixin Lin, Li-Heng Lin, Caden Lu, Sharath Maddineni, Anirudha Majumdar, Kevis-Kokitsi Maninis, Siobhan Mcloughlin, Assaf Hurwitz Michaely, Joss Moore, Robert Moreno, Thomas Mulc, Michael Neunert, Francesco Nori, Dave Orr, Carolina Parada, Emilio Parisotto, Peter Pastor, André Susano Pinto, Acorn Pooley, Grace Popple, Thomas Power, Alessio Quaglino, Haroon Qureshi, Kanishka Rao, Dushyant Rao, Krista Reymann, Martin Riedmiller, Francesco Romano, Keran Rong, Dorsa Sadigh, Stefano Saliceti, Daniel Salz, Pannag Sanketi, Mili Sanwalka, Kevin Sayed, Pierre Sermanet, Dhruv Shah, Mohit Sharma, Kathryn Shea,Mohit Shridhar，Charles Shu，Vikas Sindhwani，Sumeet Singh，Radu Soricut，Andreas Steiner，Andreas Steiner，Rachel Sterneck，Rachel Storz，Ian Storz，Razvan Surdulescu，Ben Swanson，Mitri Syriani，Mitri Syriani Truong, Jake Varley, Siddharth Verma, Grace Vesom, Giulia Vezzani, Oriol Vinyals, Ayzaan Wahid, Zhicheng Wang, Stefan Welker, Paul Wohlhart, Chengda Wu, Markus Wulfmeier, Fei Xia, Ted Xiao, Annie Xie, Jinyu Xie, Peng Xu, Sichun Xu, Ying Xu, Zhuo Xu, Yuxiang Yang, Rui Yao, Sergey Yaroshenko, Matt Young, Wenhao Yu, Wentao Yuan, Martina Zambelli, Xiaohua Zhai, Jingwei Zhang, Tingnan Zhang, Allan Zhou, Yuxiang Zhou, Guangyao (Stannis) Zhou, Howard Zhou.
我们还要感谢对该项目进行数据收集和机器人评估的运营和支持人员。