黄仁勋穿着他标志性的黑色皮夹克,伸出双臂,指着他身边的人形机器人,观众鼓掌。“关于我的体型,”6 月在台湾台北举行的 2024 年电脑展上,他在舞台上开玩笑说。
“机器人就在这里。物理人工智能就在这里。这不是科幻小说,”他说。不过,这些机器人是扁平的,在大屏幕上生成。登上舞台的是类似送货机器人的轮式机器。
机器人是黄仁勋未来愿景的重要组成部分,包括埃隆·马斯克在内的其他科技名人也认同这一观点。除了 Computex 展示之外,人形机器人也出现在 Nvidia 最近的两次财报电话会议上。
大多数分析师都认为 Nvidia 的命运在几年内几乎已成定局。对图形处理单元的需求有时已使其市值达到 3 万亿美元。但半导体行业是残酷的。数据中心的投资占 Nvidia 收入的 87%,其投资有起有落。Nvidia需要另一个大市场。
在Computex上,黄仁勋表示未来将会有两款“大批量”的机器人产品。第一个是自动驾驶汽车,第二个很可能是人形机器人。得益于机器学习,这些技术正在融合。
这两种机器都需要像人类一样感知快速变化的环境和即时反应,几乎没有出错的空间。他们还都需要大量的黄出售的东西:人工智能计算能力。但机器人技术目前只占英伟达收入的一小部分。而且它的发展不仅仅是时间问题。
如果英伟达想要永久保持在科技巅峰的地位,黄仁勋需要扩大机器人市场。虽然 Nvidia 过去几年的故事充满了令人难以置信的工程、远见和时机,但让机器人成为现实的挑战可能更加艰巨。
人工智能为机器人技术带来了巨大的机遇。但扩展该领域意味着使工程和构建变得更容易。
“机器人人工智能是最复杂的,因为大型语言模型是软件,但机器人是一个机械工程问题、一个软件问题和一个机器人问题。数据中心业主 DataBank 的首席执行官 Raul Marynek 表示:“物理问题要复杂得多。”
大多数从事机器人研究的人都是拥有机器人学博士学位的专家,因为他们必须是机器人学领域的专家。。10 年前基于语言的人工智能也是如此。现在基础模型和支持它们的计算已经广泛使用,构建人工智能应用程序不需要博士学位。
软件层和庞大的语言和图像库旨在提高用户粘性和降低用户粘性。进入壁垒,以便几乎任何人都可以使用人工智能进行构建。
Nvidia 的机器人堆栈需要做同样的事情,但由于在物理空间中使用人工智能更困难,因此使其为外行人服务也更难。p>
Nvidia 机器人技术堆栈需要一些导航。这是一个平台、库和名称的海洋。
Omniverse 是一个模拟平台。它提供了一个虚拟世界,开发人员可以自定义并使用它来测试机器人的模拟。Isaac 被 Nvidia 称为建立在 Omniverse 之上的“健身房”。这是您将机器人放入环境并练习任务的方式。
Jetson Thor 是 Nvidia 为机器人提供动力的芯片。该公司将 Groot 项目称为“登月”计划,是人形机器人的基础模型。7 月,该公司推出了合成数据生成服务和 Osmo,这是一个将所有服务联系在一起的软件层。
黄经常说,类人机器人更容易构建,因为世界已经为人类创造了。
“世界上最容易适应的机器人是人形机器人,因为我们为我们建造了世界,”他在台北电脑展上说道,并补充道:“有更多的数据来训练这些机器人,因为我们有相同的体格。“
收集有关我们如何移动的数据仍然需要时间、精力和金钱。例如,特斯拉每小时支付 48 美元,让人们穿着特殊的套装执行任务,以训练其人形机器人 Optimus。
“机器人技术中最大的问题是需要多少数据来提供这些基础模型曾在苹果、谷歌和微软工作过的人工智能专家 Sophia Velastegui 表示:“了解世界并适应它。”
但分析师看到了潜力。研究公司 William Blair 的分析师最近写道:“Nvidia 在机器人和数字孪生(与 Omniverse)方面的能力有潜力扩展到大规模企业本身。”分析师表示,他们预计 Nvidia 的汽车业务到 2027 年每年将增长 20%。
Nvidia 宣布宝马使用 Isaac 和 Omniverse 来训练工厂机器人。波士顿动力公司、比亚迪电子公司、Figure、Intrinsic、西门子和泰瑞达机器人公司使用 Nvidia 的堆栈来制造机器人手臂、人形机器人和其他机器人。
但三位机器人专家告诉 Business Insider,到目前为止,Nvidia 已经失败了降低想要成为机器人制造者的进入门槛,就像基于语言和图像的人工智能一样。竞争对手们纷纷加入,试图在 Nvidia 占据主导地位之前为机器人技术开辟理想的堆栈。
“我们认识到开发能够与物理世界交互的人工智能极具挑战性,”Nvidia 发言人说道通过电子邮件告诉BI。“这就是为什么我们开发了一个完整的平台来帮助公司培训和部署机器人。”
7 月,该公司启动了一个人形机器人开发人员计划。提交成功的申请后,开发人员可以访问所有这些工具。
Ashish Kapoor 敏锐地意识到该领域尚未取得的所有进展。17 年来,他一直是微软机器人研究部门的领导者。在那里,他帮助开发了 AirSim,这是一个于 2017 年推出的计算机视觉模拟平台,于去年被淘汰。
卡普尔因公司关闭而离开,以创建自己的平台。去年,他创立了 Scaled Foundations 并推出了 Grid,这是一个专为有抱负的机器人制造商设计的机器人开发平台。
没有一家公司可以单独解决机器人技术的难题,他说。
“据我所见,人工智能领域发生的情况是,实际的解决方案来自社区,当他们共同致力于某些事情时,”卡普尔说。“那就是魔法开始发生的时候,而这现在需要在机器人技术中发生。”卡普尔说,感觉每个瞄准人形机器人的玩家都是为了自己。但机器人初创公司的墓地之所以存在是有原因的。机器人进入了现实世界的场景,但它们根本不够好。客户在它们变得更好之前就放弃了它们。
“一个流行的笑话是,每个机器人都有一个由 10 人组成的团队试图运行它,”卡普尔说。
Grid 提供免费套餐或提供更多帮助的托管服务。Scaled Foundations 正在构建自己的机器人基础模型,但也鼓励用户开发一个模型。
Nvidia 机器人堆栈的一些元素是开源的。黄经常说,英伟达正在与地球上的每一家机器人和人工智能公司合作,但一些开发人员担心这家巨头会首先保护自己的成功,然后再支持生态系统。
“他们正在做苹果那样的事情对我来说,他们试图尽可能地将你锁定在他们的生态系统中,”计算机视觉公司 EveryPoint 的首席开发倡导者乔纳森·斯蒂芬斯 (Jonathan Stephens) 说道。
Nvidia 发言人告诉我们。BI认为这种看法是不准确的。该公司“与机器人和人形开发生态系统中的大多数领先参与者合作”,帮助他们更快地部署机器人。他们说:“我们的成功来自生态系统。”
Scaled Foundations 和 Nvidia 并不是唯一致力于机器人基础模型的公司。Skild AI 在 7 月份筹集了 3 亿美元来构建其版本。
模拟器是人形机器人道路上的重要一站,但它们并不一定会引领潮流
黄仁勋在台北国际电脑展上描述机械臂时表示,Nvidia 提供了将人工智能机器人放入人工智能工厂所需的“计算机、加速层和预训练的人工智能模型”。在工厂大规模使用机械臂的目标已经存在了几十年。自 1961 年以来,机械臂就一直在制造汽车。但黄说的是人工智能机器人,一种智能机器人。
制造汽车的手臂很大程度上是非智能的。它们被编程为执行重复性任务,并且经常使用传感器而不是摄像头“看”。
支持人工智能的机械臂将能够处理各种任务,拾取不同的物品并将它们放在不同的地方不会破坏它们,也许是在移动时。他们需要能够感知物体和护栏,然后以连贯的顺序采取行动。但类人机器人与最有用的非类人机器人相比也有天壤之别。一些机器人专家怀疑这是否是一个正确的目标。
“我非常怀疑”,一位在该领域拥有超过 15 年经验的前 Nvidia 机器人专家表示,为了保护行业关系,这位专家要求匿名。“制造一个人形机器人并使其具有多功能性的成本将比制造一个看起来不像人类且只能完成一项任务但能更好更快地完成任务的机器人更高。”
但黄全力以赴。
“我认为 Jensen 对机器人很着迷,因为最终,他想做的是创造未来,”Martynek 说。
<自动汽车和机器人技术是英伟达未来的重要组成部分。该公司告诉 BI,它预计一切最终都会实现自动化,从机器人手臂和车辆开始,一直到建筑物甚至城市。“当我们受《星际迷航》和其他电影的启发开发 iPad 时,我正在苹果公司工作。电影中的未来世界,”Velastegui 说道,并补充说机器人技术激发了我们的想象力。