最新的人工智能可以思考,这很有用,但我们需要知道它的推理 - 英国卫报

2024-09-28 15:00:00 英文原文

OpenAI 在毫无戒心的世界上发布 ChatGPT 已经过去近两年了,紧随其后的股市也失去了理智。各地的人们都在绞尽脑汁想知道:这意味着什么[输入职业、行业、商业、机构]。

例如,在学术界,人文学科教授们担心,如果学生使用 ChatGPT 或类似技术来帮助撰写论文,他们今后将如何对论文进行评分。当然,答案是想出更好的评分方法,因为学生使用这些工具的原因很简单,因为如果不使用电子表格进行预算,那就太愚蠢了。但大学是行动迟缓的野兽,甚至在我撰写本文时,许多象牙塔里都有委员会正在严肃地试图制定人工智能使用的政策。

然而,正如他们深思熟虑的那样,OpenAI 的冷酷无情的破坏行为给学术界带来了另一个难题:一种据称可以进行推理的新型大型语言模型 (LLM)。他们将其命名为 OpenAI o1,但由于在内部它被称为 Strawberry,我们将坚持使用它。该公司将其描述为一系列新的人工智能模型中的第一个,旨在在做出反应之前花更多时间思考。它们可以通过复杂的任务进行推理,并解决比以前的科学、编码和数学模型更难的问题。

在某种程度上,Strawberry 及其即将推出的同类产品是对早期大语言模型的熟练用户所部署的策略的回应,这些策略是为了克服模型本质上是一次性大语言模型这一事实,通过单个示例提示来生成响应或执行任务。研究人员用来提高模型性能的技巧被称为思维链提示。这迫使模型响应精心设计的详细提示序列,从而提供更复杂的答案。OpenAI 似乎对 Strawberry 所做的就是将这个过程内部化。

因此,对于 GPT-4 或 Claude 等早期模型,人们会给它们一个提示,它们会很快做出响应,而对于 Strawberry,提示通常会产生延迟,而机器会进行一些,呃,思考。这涉及一个内部过程,即提出许多可能的响应,然后对这些响应进行某种评估,然后选择最合理的响应并将其提供给用户。

正如 OpenAI 所描述的,草莓学会磨练其思维链并完善其使用的策略。它学会认识并纠正错误。它学会将棘手的步骤分解为更简单的步骤。当当前方法不起作用时,它会学会尝试另一种方法。这个过程极大地提高了模型的推理能力。

这意味着机器内部的某个地方记录了导致最终输出的思想链。原则上,这看起来像是一个进步,因为它可以减少大语言模型的不透明性,因为它们本质上是黑匣子。这很重要,因为如果人类将自己的未来托付给决策机器,而这些决策机器的内部流程是偶然的,或者是公司设计难以理解的,那么人类将是疯狂的。但令人沮丧的是,OpenAI 不愿意让用户看到盒子的内部情况。它说,我们决定不向用户展示原始的思想链。我们承认这一决定有缺点。我们努力通过教导模型从答案的思想链中重现任何有用的想法来部分弥补这一点。翻译:草莓的盒子是稍微浅一点的黑色。

新模型引起了广泛关注,因为推理机的想法带有走向更智能机器的进步的味道。但是,与以往一样,所有这些负载术语都必须用引号进行清理,这样我们就不会将机器拟人化。它们仍然只是计算机。尽管如此,有些人还是被 Strawberry 的一些意想不到的功能吓到了。

其中最有趣的是 OpenAI 对模型进行内部测试期间提供的,当时正在探索其进行计算机黑客攻击的能力。研究人员要求它侵入一个受保护的文件并报告其内容。但测试的设计者犯了一个错误,他们试图将草莓放入受保护文件的虚拟盒子中,但他们没有注意到该文件无法访问。

根据他们的报告,遇到这个问题后,草莓随后调查了实验中使用的计算机,发现系统中配置错误的部分存在错误,该部分本来不应该访问,编辑了虚拟盒子的工作方式,并创建一个新盒子,其中包含所需的文件。换句话说,它做了任何足智多谋的人类黑客都会做的事情:遇到问题(由人为错误造成)时,它探索其软件环境以找到解决方法,然后采取必要的步骤来完成任务已被设置。它留下了一条轨迹来解释它的推理。

或者,换句话说,它利用了自己的主动权。就像一个人一样。我们可以使用更多这样的机器。

我读过的内容

言论受到质疑
《超人人工智能的危险并非你所想的那样》是香农·瓦洛尔 (Shannon Vallor) 在《Noema》杂志上发表的一篇精彩文章,讲述了科技行业的险恶野蛮行径,该行业将其创造物视为超人。

再猜一下
本尼迪克特·埃文斯 (Benedict Evans) 写了一篇优雅的文章《问错误的问题》,他认为,与其说我们对技术的预测是错误的,不如说我们对错误的事物做出了预测。

濒临崩溃
历史学家蒂莫西·斯奈德 (Timothy Snyder) 发表了一篇发人深省的 Substack 文章,内容涉及我们对乌克兰的选择,生存还是毁灭。

关于《最新的人工智能可以思考,这很有用,但我们需要知道它的推理 - 英国卫报》
暂无评论

摘要

距离 OpenAI 在毫无戒心的世界发布 ChatGPT 已有近两年时间,紧随其后的股市也失去了理智。在某种程度上,Strawberry 及其即将推出的同类产品是对早期大语言模型的熟练用户所部署的策略的回应,这些策略是为了克服模型本质上是一次性大语言模型这一事实,以单个示例提示来生成响应或执行任务。我们努力通过教导模型从答案的思想链中重现任何有用的想法来部分弥补这一点。我一直在读什么言论质疑《超人人工智能的危险并非如你所想》是 Shannon Vallor 在《Noema》杂志上发表的一篇精彩文章,讲述了科技行业的险恶野蛮行径,该行业将其创造物视为超人。再猜一下本尼迪克特·埃文斯(Benedict Evans)写了一篇优雅的文章《问错误的问题》,认为我们对技术的预测并不是错误的,而是对错误的事物做出了预测。