OpenAI 联合创始人兼前首席科学家 Ilya Sutskever 在今年早些时候登上了头条新闻他离开后开始他自己的人工智能实验室安全超级智能公司。自离开以来,他一直避免成为众人瞩目的焦点,但周五在温哥华神经信息处理系统会议 (NeurIPS) 上罕见地公开露面。
“我们知道,预训练毫无疑问将会结束,”苏茨克韦尔在台上说道。这是指人工智能模型开发的第一阶段,此时大型语言模型从大量未标记的数据(通常是来自互联网、书籍和其他来源的文本)中学习模式。
“我们已经达到了峰值数据,并且不会再有更多了。”
Sutskever 在 NeurIPS 演讲中表示,虽然他相信现有数据仍然可以推动人工智能发展更进一步,但该行业正在利用新数据进行训练。他说,这种动态最终将迫使当今模型的训练方式发生转变。他将这种情况与化石燃料进行了比较:就像石油是一种有限的资源一样,互联网包含的人类生成的内容也是有限的。
“我们已经达到了峰值数据,而且不会再有更多了,”Sutskever 表示。– 我们必须处理我们拥有的数据。只有一个互联网。”
伊利亚·苏茨克韦尔/NeurIPS
他预测,下一代模型将“真正具有代理性”。代理已经成为一个真正的流行词在人工智能领域。虽然 Sutskever 在演讲中没有对它们进行定义,但它们通常被理解为一个自主的人工智能系统,可以自行执行任务、做出决策并与软件交互。
他说,除了“代理”之外,未来的系统还将能够推理。与今天的人工智能主要根据模型之前见过的内容进行模式匹配不同,未来的人工智能系统将能够以更类似于思考的方式逐步解决问题。
你在 OpenAI 工作吗?我很想聊天。您可以通过 Signal @kylie.01 或发送电子邮件至 kylie@theverge.com 安全地联系我。
苏茨克维尔表示,系统推理的次数越多,“它就越难以预测”。他将“真正的推理系统”的不可预测性与下棋的高级人工智能的不可预测性进行了比较,“对于最优秀的人类国际象棋棋手来说,这是不可预测的。”
“他们将从有限的数据中理解事物,”他说。“他们不会感到困惑。”
在舞台上,他引用了显示不同物种大脑和体重之间关系的研究,对人工智能系统的规模和进化生物学进行了比较。他指出,虽然大多数哺乳动物都遵循一种标度模式,但原始人类(人类祖先)的大脑与身体质量比在对数标度上表现出明显不同的斜率。
他认为,正如进化为原始人类大脑找到了一种新的扩展模式一样,人工智能也可能会发现新的扩展方法,超越目前预训练的工作方式。
伊利亚·苏茨克韦尔/NeurIPS
苏茨克弗结束演讲后,一位听众问他研究人员如何为人类创建正确的激励机制来创造人工智能,并赋予它“我们作为智人所拥有的自由”。
“我觉得从某种意义上说,人们应该更多地思考这些问题,”苏茨克韦尔回答道。他停顿了一下,然后说他“没有信心回答这样的问题”,因为这需要一个“自上而下的政府结构”。这位观众建议使用加密货币,这让其他人房间里咯咯地笑起来。
“我觉得我不是评论加密货币的合适人选,但你所描述的情况有可能会发生,”Sutskever 说。——你知道,从某种意义上说,如果你拥有人工智能,那么这并不是一个糟糕的最终结果,而它们想要的只是与我们共存,并且只是拥有权利。也许这样就好了……我认为事情是如此不可预测。我犹豫是否要发表评论,但我鼓励猜测。”