为什么人工智能领域越大并不总是越好 - 麻省理工学院技术评论

2024-10-01 09:02:18 英文原文

为什么人工智能领域越大并不总是越好

事实证明,较小的模型具有同样的能力,但碳足迹要小得多。

这个故事最初出现在《算法》中,我们关于人工智能的每周通讯。要首先在收件箱中收到这样的故事,请在此处注册。

在人工智能研究中,每个人似乎都认为越大越好。这个想法是更多的数据、更多的计算能力和更多的参数将导致模型更强大。这种想法始于 2017 年的一篇具有里程碑意义的论文,其中 Google 研究人员介绍了支撑当今语言模型热潮的 Transformer 架构,并帮助将“规模就是你所需要的”心态嵌入到人工智能社区中。如今,大型科技公司似乎在规模竞争上胜过一切。

这就像是,兄弟,你的模型有多大?人工智能初创公司 Hugging Face 的人工智能和气候主管 Sasha Luccioni 说道。科技公司只是添加了数十亿个参数,这意味着普通人无法下载模型并修改它们,即使它们是开源的(它们大多不是开源的)。她说,当今的人工智能模型太大了。

随着规模的扩大,会出现一系列问题,例如侵入性数据收集做法和数据集中的儿童性虐待材料,正如 Luccioni 和合著者详细描述的那样在一篇新论文中。最重要的是,更大的模型也有更大的碳足迹,因为它们需要更多的能量来运行。

规模带来的另一个问题是电力的极度集中,Luccioni 说。扩大规模需要花费大量资金,只有在大型科技公司工作的精英研究人员才有资源来构建和运营这样的模型。

这个瓶颈是由极少数富有而强大的公司使用的她说,人工智能是他们核心产品的一部分。

事情不一定是这样的。我刚刚发表了一篇关于新的多模态大型语言模型的故事,该模型虽小但功能强大。艾伦人工智能研究所 (Ai2) 的研究人员构建了一个名为 Molmo 的开源模型系列,该模型仅用用于构建最先进模型的一小部分资源即可实现令人印象深刻的性能。

该组织声称,在衡量理解图像、图表和文档等内容的测试中,其最大的 Molmo 模型拥有 720 亿个参数,其性能优于 OpenAI 的 GPT-4o,后者估计拥有超过一万亿个参数。

与此同时,Ai2 表示,拥有 70 亿个参数的较小 Molmo 模型在性能上接近 OpenAI 最先进的模型,这一成就归功于更高效的数据收集和训练方法。在这里阅读我的更多相关内容。Molmo 表明我们不需要需要大量资金和精力来训练的海量数据集和海量模型。

突破规模就是你所需要的心态是构建 Molmo 的研究人员面临的最大挑战之一Ai2 的高级研究总监 Ani Kembhavi 说道。

当我们开始这个项目时,我们必须完全跳出框架思考,因为必须有更好的方法来训练模型,他说。该团队希望证明开放模型可以与封闭的专有模型一样强大,这要求他们构建易于访问且无需花费数百万美元进行训练的模型。

Molmo 表明,少即是多肯巴维说,小就是大,开放[与]封闭一样好。

还有另一个缩小规模的好例子。Luccioni 表示,更大的模型往往能够完成比最终用户实际需要更广泛的任务。

大多数时候,您不需要一个可以完成所有任务的模型。您需要一个模型来执行您希望它执行的特定任务。为此,她说,模型越大并不一定越好。

相反,我们需要改变衡量人工智能性能的方式,以关注真正重要的事情,Luccioni 说。例如,在癌症检测算法中,也许我们应该优先考虑诸如准确性、隐私性或模型是否根据您所提供的数据进行训练等因素,而不是使用可以执行各种操作并在互联网上进行训练的模型。她说,可以信任。

但这需要比目前人工智能标准更高的透明度。研究人员并不真正知道他们的模型如何或为何做他们所做的事情,甚至不真正了解他们的数据集中包含什么。缩放是一种流行的技术,因为研究人员发现向模型投入更多的东西似乎可以使它们表现得更好。研究界和公司需要改变激励措施,以便要求科技公司对其模型中的内容更加谨慎和透明,并帮助我们用更少的资源做更多的事情。

你不需要假设她说,[AI 模型] 是一个神奇的盒子,可以解决您的所有问题。

现在阅读算法的其余部分

深入学习

人工智能剧本编辑器可以帮助决定好莱坞制作哪些电影

在好莱坞,每天都有数十人代表电影公司阅读剧本,试图在每个电影公司发送的数千部电影中找到未经雕琢的钻石。年。每个脚本长达 150 页,读完一个脚本并写出摘要可能需要半天的时间。这些剧本每年只售出大约 50 个,读者被训练得冷酷无情。

灯光、摄像机、人工智能:现在是科技公司 Cinelytic,与华纳兄弟和索尼等主要工作室合作Pictures 旨在通过生成式人工智能提供脚本反馈。它推出了一款名为 Callaia 的新工具,用于分析脚本。使用人工智能,卡拉亚只需不到一分钟的时间即可撰写自己的报道,其中包括概要、可比较电影的列表、对话和原创性等领域的评分以及演员推荐。请阅读 James ODonnell 的更多内容。

比特与字节

加利福尼亚州州长否决了各州全面的人工智能立法
州长加文·纽瑟姆 (Gavin Newsom) 否决了 SB 1047,该法案要求预先大型人工智能系统的部署安全测试,并赋予各州总检察长起诉人工智能公司造成严重损害的权利。他表示,他认为该法案过于关注最大的模型,而没有考虑到更广泛的危害和风险。人工智能快速增长的批评者对这一决定表示失望。(《纽约时报》)

抱歉,人工智能无法解决气候变化
OpenAIs 首席执行官 Sam Altman 声称人工智能将带来智能时代,带来难以想象的繁荣和惊人的成就,例如解决气候问题。但仅靠技术突破并不能解决全球变暖问题。事实上,就目前情况而言,人工智能正在使问题变得更糟。(《麻省理工科技评论》)

将 OpenAI 转变为真正的业务如何将其撕裂
在另一次组织重组中,这家初创公司失去了首席技术官 Mira Murati 和其他高级领导人。OpenAI 充满了混乱,这源于其首席执行官推动将其从非营利性研究实验室转变为营利性组织。内部人士表示,这种转变破坏了公司文化。(《华尔街日报》)

为什么微软达成一项协议来帮助重启三哩岛
曾经关闭的核电站很快就会被用来为微软在人工智能开发方面的大规模投资提供动力。(麻省理工科技评论)

OpenAI向更多人发布了其先进的语音模式。获取方法如下。
该公司表示,更新后的版本可以响应你的情绪和语气,并允许你在句子中打断。(《麻省理工科技评论》)

联邦贸易委员会正在打击人工智能诈骗
该机构启动了“人工智能合规行动”,并表示将调查人工智能注入的欺诈和其他类型的欺骗行为,例如聊天机器人提供法律服务的建议、让人们创建虚假在线评论的人工智能工具,以及从人工智能驱动的商业机会中获得巨额收入的虚假声明。
(联邦贸易委员会)

想要人工智能标记仇恨内容吗?建造它。
一项新的竞赛承诺,任何能够在线追踪仇恨图像的人都将获得 10,000 美元的奖励。(麻省理工学院技术评论)

深入探讨

人工智能

人们实际上是如何使用人工智能的

一些奇特且有点出乎意料的事情发生了发生了:人们已经开始与人工智能系统建立关系。

Google DeepMind 训练了一个机器人在乒乓球比赛中击败人类

它能够利用大量数据来改进其打法随着比赛的进行,风格并调整策略。

我们需要为令人上瘾的智能做好准备

人工智能同伴的诱惑难以抗拒。以下是监管创新如何帮助保护人们。

保持联系


麻省理工学院技术评论获取最新动态

发现特别优惠,顶部故事、即将举办的活动等等。

关于《为什么人工智能领域越大并不总是越好 - 麻省理工学院技术评论》的评论


暂无评论

发表评论

摘要

为什么 AIS 中越大并不总是越好 事实证明,较小的型号具有同样的能力,但碳足迹要小得多。该团队希望证明开放模型可以与封闭的专有模型一样强大,这要求他们构建易于访问且不需要花费数百万美元进行训练的模型。她说,就此而言,更大的模型不一定更好。现在阅读算法的其余部分深度学习人工智能脚本编辑器可以帮助决定好莱坞制作哪些电影每天,好莱坞各地都有数十人代表电影公司阅读剧本,试图在每个电影发送的数千个剧本中找到未经加工的钻石。年。麻省理工科技评论)OpenAI向更多人发布了其先进的语音模式。