文件显示,Nvidia 将斥资 260 亿美元构建开放权重 AI 模型
作者:Will Knight
英伟达将花费未来五年投入 260 亿美元打造开源人工智能模型,根据2025年财务备案。高管们在接受《连线》采访时证实了这一此前从未报道过的消息。
庞大的投资可以看到英伟达从拥有令人印象深刻的软件堆栈的芯片制造商发展成为真正的芯片制造商前沿实验室有能力与开放人工智能和深度搜索。这是一项战略举措,可能会进一步巩固 Nvidia 作为人工智能领域领先芯片制造商的地位,因为这些模型是针对该公司的硬件进行调整的。
开源模型是指公开发布决定模型行为的权重或参数的模型,有时还会公开其架构和训练的详细信息。这允许任何人在自己的计算机或云上下载并运行它。就英伟达而言,该公司还揭示了构建和训练其模型所涉及的技术创新,使初创公司和研究人员更容易修改和发展该公司的创新。
周三,Nvidia 还发布了 Nemotron 3 Super,这是迄今为止功能最强大的开放式人工智能模型。新模型有 1280 亿个参数(模型大小和复杂性的衡量标准),使其大致相当于 OpenAI 的 GPT-OSS 的最大版本,尽管该公司声称它在多个基准测试中优于 GPT-OSS 和其他模型。
具体来说,Nvidia 声称 Nemotron 3 Super 在人工智能指数上获得了 37 分,该指数对 10 个不同基准的模型进行了评分。GPT-OSS 得分为 33,但一些中国模型的得分更高。Nvidia 表示 Nemotron 3 Super 在 PinchBench 上进行了秘密测试,PinchBench 是一个评估模型控制 OpenClaw 能力的新基准,并在该测试中排名第一。
Nvidia 还介绍了一些用于训练 Nemotron 3 的技术技巧。包括建筑和培训技术提高模型的推理能力、长上下文处理以及对强化学习的响应能力。
“Nvidia 正在更加认真地对待开放模型开发,”Nvidia 应用深度学习研究副总裁 Bryan Catanzaro 表示。– 我们正在取得很大进展。 –
开放前沿
Meta 是第一家大型人工智能公司发布开放模型,Llama,2023 年。然而,首席执行官马克扎克伯格最近重新启动了公司的人工智能工作,并且表明它可能不会使未来的模型完全开放。OpenAI 提供了一个开放权重模型,称为 GPT-oss,但它不如该公司最好的专有产品,不太适合修改。
来自 OpenAI 的最佳美国模型,人择, 和谷歌,只能通过云或通过聊天界面访问。相比之下,DeepSeek、阿里巴巴、Moonshot AI、Z.ai 和 MiniMax 等许多中国顶级模型的权重都是公开免费发布的。因此,世界各地的许多初创公司和研究人员目前都在中国模式的基础上进行开发。
“帮助生态系统发展符合我们的利益”,Catanzaro 说道,他于 2011 年加入 Nvidia,并帮助引领该公司从制造游戏显卡转向制造人工智能芯片。Nvidia 于 2023 年 11 月发布了第一个 Nemotron 模型。他补充说,Nvidia 最近完成了 5500 亿参数模型的预训练。(预训练涉及将大量数据输入到分布在大量并行运行的专用芯片上的模型中。)此后,Nvidia 发布了一系列专门用于机器人、气候建模和蛋白质折叠等领域的模型。
企业生成人工智能软件副总裁卡里·布里斯基 (Kari Briski) 表示,英伟达未来的人工智能模型不仅将帮助该公司改进其芯片,还将帮助其改进其构建的超级计算机规模的数据中心。“我们构建它是为了扩展我们的系统,不仅测试计算,还测试存储和网络,并构建我们的硬件架构路线图,”她说。