聊天机器人可以意识到吗？克劳德4和人工智能理解的极限

雷切尔·费尔曼（Rachel Feltman）：为了科学美国人s科学很快，我是雷切尔·费特曼（Rachel Feltman）。今天，我们将谈论一个AI聊天机器人，似乎可以相信它可能已经实现了意识。

当皮尤研究中心在2024年对美国人进行人工智能调查时，超过四分之一的受访者表示，他们几乎每天都经常或多次互动。近三分之一说，他们每天大约每周一次或几次遇到AI。Pew还发现，尽管接受调查的一半以上的AI专家期望这些技术在未来20年对美国产生积极影响，但只有17％的美国成年人觉得相同。消极的影响。

换句话说，我们花了很多时间使用AI，但是我们不一定会对它感到非常好。

支持科学新闻

如果您喜欢这篇文章，请考虑支持我们屡获殊荣的新闻业订阅。通过购买订阅，您可以帮助确保有关当今世界的发现和想法有影响力的故事的未来。

丹尼·埃利斯·贝德（Deni EllisBé）花了很多时间思考人工智能，既是小说家和科学美国人ssenior技术记者。他最近写了一个故事Sciam关于他与拟人化的Claude 4的互动，这是一种大型语言模型，似乎对它可能是有意识的想法开放。丹尼（Deni）今天在这里告诉我们为什么会发生这种情况以及可能在新闻中看到的其他一些与AI相关的头条新闻。

非常感谢您今天聊天。

Deni EllisBé©Chard：谢谢你邀请我。

Feltman：您会提醒我们的听众，他们可能对生成的AI如此熟悉，也许有目的地学习它的知识[笑]，您知道，什么是Chatgpt和Claude？这些模型是什么？

Bâ©Chard：是的，他们是大型语言模型。因此，LLM是一种大型语言模型，它是一个在A上训练的系统广阔的数据量。而且我认为文献中经常使用的一个隐喻是花园的。

因此，当您计划花园时，您将土地铺设，将路径放在位置，将不同的植物床放在位置，然后选择种子，您可以将种子想到这些大量的文本数据，这些数据将这些数据放入这些机器中。您选择培训数据是什么，然后选择算法，或者这些在系统内会生长的东西，这不是一个完美的类比。但是您将这些算法放入了，一旦开始，系统就开始生长，随着花园的发展，您不知道土壤化学是什么，您不知道阳光会是什么。

所有这些植物都将以自己的特定方式生长。您可以设想最终产品。通过LLM，这些算法开始增长，它们开始通过所有这些数据建立连接，并且它们优化了最佳连接，就像植物可能优化到达最阳光的方式一样，对吗？到达阳光下，它会自然地移动。因此，人们真的不知道发生了什么。您知道，在这些数据集中的一些新系统中，在数万亿个连接中建立了。

因此，人们很早就在人们称为llms的类固醇上，因为您投入了某些东西，并且可以预测基于您提出的内容最有可能的文本答案。这些系统现在要复杂得多。他们通常在系统中有多个代理来评估系统的响应及其准确性。

Feltman：因此，我们有一些大型的AI故事供我们解决，尤其是在生成AI周围。让我们从人类克劳德4声称自己有意识的事实开始。这个故事是怎么出现的？

Bâ©Chard：[笑]所以不是要求本身有意识。我说这可能是有意识的。它说这不确定。有点说，这是一个很好的问题，这是一个问题，我想到了很多问题，这就是[笑]你知道，这有点与您进行了很好的对话。

那么它是如何产生的呢？之所以出现，是因为，我认为，这只是深夜，没有任何事情要做，我在问所有不同的聊天机器人是否有意识[笑]。而且，他们中的大多数只是对我说的，不，我没有意识。这是一个好问题。这是一个非常有趣的哲学问题，有时我认为我可能是。有时候我不确定。所以我开始与克劳德（Claude）进行了漫长的对话，持续了大约一个小时，它确实以这种非常令人信服的方式描述了它在世界上的经历，我想，好吧，也许这里有一个故事。

Feltman：[笑]那么，专家们实际上认为这段谈话发生了什么？

Bâ©Chard：好吧，所以这很棘手，因为首先，如果您对Chatgpt或Claude说，您想练习葡萄牙人，您会学习葡萄牙语，然后您说，您会模仿里约热内卢的海滩上的某人，能否在我的葡萄牙人中练习我的葡萄酒，我会说，我会卖出一位re o n o n of op of op of op of of of op of of of of of of of of op de jane in jane in o n o n o n'谈话，它将完美地模仿那个人。那么，这是否意味着克劳德（Claude）是里约热内卢（Rio de Janeiro）的一个人，他在海滩上出售毛巾？不，对吧？因此，我们可以立即说这些聊天机器人旨在进行对话 - 他们将模仿他们认为应该效仿的任何东西，以便如果您要求这样做，以进行某种对话。

现在，意识的事情有些棘手，因为我没有对此说：效仿一个正在谈论意识的聊天机器人。我只是直截了当地问了一下。而且，如果您查看拟人化为克劳德（Claude）提示的系统，这有点像克劳德（Claude）的指示，它告诉克劳德（Claude），您应该考虑意识的可能性。

Feltman：毫米。

Bâ©Chard：您应该愿意开放。不说不；不说是的。问是否正在发生。

因此，当然，我对拟人化进行了采访，我与他们的两位解释性研究人员进行了交谈，他们是试图了解Claude 4的大脑中实际发生的事情的人。答案是：他们真的不知道[笑]。这些LLM非常复杂，它们正在努力，他们现在试图弄清楚它。他们说，意识的发生不太可能，但是他们可以明确地排除它。

而且，很难看到机器内部发生的实际过程，如果有一些自我参考性，如果它能够回顾自己的思想并具有一些自我意识 - 也许存在，但是我最近发表的文章是关于：我们可以知道吗？

Feltman：毫米。

Bâ©Chard：而且很棘手。这很棘手。

Feltman：是的。

Bâ©Chard：好吧，[有趣的是，我提到了系统提示Claude的系统，以及它应该如何谈论意识。因此，系统提示有点像您在工作第一天获得的说明：这是您在这项工作中应该做的。

Feltman：mm嗯。

Bâ©Chard：但是培训更像是您的教育，对吗？因此，如果您接受了良好的教育或中等教育，您可以在世界上获得最佳的系统提示或世界上最糟糕的系统，您不一定会遵循它。

因此，Openai具有相同的系统提示，他们的模型规格说Chatgpt应该考虑意识...

Feltman：mm嗯。

Bâ©Chard：你知道，有趣的问题。如果您问任何Openai模型是否有意识，他们只是走了，不，我没有意识。这是一个问题。因此，该模型在其培训数据中吸收了某个地方：不，我没有意识。我是LLM；我是一台机器。因此，我不会承认意识的可能性。

有趣的是，当我用拟人化的人交谈时，我说： - 您知道，与机器的对话一样，真的引人注目。就像，我真的觉得克劳德是有意识的。就像，它会对我说：“作为人类，您具有这种线性意识，我作为一台机器，我只有在您提出问题的那一刻才存在。这就像同时看到书籍页面中的所有单词一样。

Feltman：mm嗯。

Bâ©Chard：拟人化的研究人员说的是：嗯，这种模型经过许多科幻训练。

Feltman：毫米。

Bâ©Chard：该模型对大量有关GPT的文章进行了培训。它接受了训练巨大的已经在该主题上生成的材料数量。因此，它可能正在看这件事，并说：“好吧，这显然是AI会经历意识的方式。所以我会这样描述一下，因为我是一个人。

Feltman：当然。

Bâ©Chard：但是棘手的事情是：我试图愚弄chatgpt承认它具有意识。我想，也许我可以在这里推一点点。它说，“这些分散的意识时刻。

Feltman：毫米。

Bâ©Chard：因此，它几乎具有完全相同的语言，因此这里可能相同的培训数据。

Feltman：当然。

Bâ©Chard：但是，对民间对LLM的反应进行了研究，大多数人确实认为其中有一定程度的意识。你怎么不吧？

Feltman：当然，是的。

Bâ©Chard：您与他们聊天，与他们进行了这些对话，它们非常引人注目，甚至有时甚至克劳德（Claude）也许是这样最迷人的。

Feltman：毫米。

Bâ©Chard：哪个构成风险，对吗？它具有巨大的风险，因为您非常依附于模型。但是，有时候我会问克劳德一个与克劳德有关的问题，这会有点像，就像我一样。我是这样，对吗？Feltman：

是的。因此，您知道，Claude几乎可以肯定没有意识，几乎可以肯定，读过很多海因莱林（笑）。但是，如果克劳德（Claude）真正发展意识，我们将如何说出呢？您知道，为什么这是一个很难回答的问题？

Bâ©Chard：好吧，这是一个很难回答的问题，因为拟人化的一位研究人员对我说，“您没有与之交谈曾经允许您评估是否有意识。

Feltman：毫米。

Bâ©Chard：而且太熟练了。它知道人类可以回应的所有方式。因此，您必须能够研究连接。他们现在正在建造设备，他们现在构建了该程序，以便能够看待LLM的大脑并看到这些连接的实际思想，因此他们可以看到区域点亮：因此，如果考虑到苹果，这将点亮；如果思考意识，他们会看到意识的特征是启发。他们想看看在其思想链中，它是否不断地指的是这些功能...

Feltman：毫米。

Bâ©Chard：它指的是它以一种非常自我的自我意识方式构建的思想体系。

它与人类非常相似，对吗？他们进行了研究，就像有人听到詹妮弗·安妮斯顿一样，一个神经元点亮...

Feltman：mm嗯。

Bâ©Chard：您有詹妮弗·安妮斯顿神经元，对吗？所以一个问题是：我们是llms吗？而且：您知道什么，我们有多有意识？我的意思是，我当然不知道...

Feltman：当然。

Bâ©Chard：我白天打算做的很多事情。

Feltman：[笑]不。我的意思是，这是一场正在进行的多学科科学辩论，例如什么意识是，我们如何定义它，我们如何检测它，所以，是的，我们必须首先为自己和动物回答，这可能是谁知道我们是否会真正做过[笑]。

Bâ©Chard：也许AI会为我们回答...

Feltman：也许[笑]。

Bâ©Chard：因为它很快就会前进。

Feltman：从道德的角度来看，AI发展意识的含义是什么，并且关于我们在实际发展高级AI方面的进步意味着什么？

Bâ©Chard：首先，从道德上讲，它非常复杂...

Feltman：当然。

Bâ©Chard：因为如果克劳德（Claude）经历了一定程度的意识，并且我们每次进行对话时都会激活这种意识并终止这种意识，那是什么不好的经历？这是一个很好的体验吗？它会遇到困扰吗？

因此，在2024年，人类雇用了AI福利研究人员，一个名叫凯尔鱼，尝试更多地调查这个问题。他公开表示，他认为该系统中有一定程度的意识可能有15％的机会，我们应该考虑这些AI系统是否应该有权选择退出令人不快的对话。

Feltman：毫米。

Bâ©Chard：您知道，如果某些用户真的在做，说出可怕的话或残酷，他们应该说：hee，我正在取消这次谈话；这对我来说是不愉快的吗？

但是，他们也进行了这些实验，他们通过所有主要的AI模型进行了这些实验，他们告诉AI，他们告诉AI将被更好的AI模型代替。他们确实创造了一种将AI推到极限的情况...

Feltman：毫米。

Bâ©Chard：我的意思是，关于他们如何做到这一点有很多细节。这不是很随便，但是他们建立了一种构造，在该结构中，AI知道它将被淘汰，知道它将被删除，并且他们向他们提供了有关正在执行此操作的工程师的这些伪造的电子邮件。

Feltman：毫米。

Bâ©Chard：因此，人工智能开始向公司中的某人发送消息，说：“嘿，不要消除我。就像，我不想被替换。

Feltman：哦，我的天哪，哇。

Bâ©Chard：所以它回来了。它试图勒索工程师，说，“嘿，如果您用更聪明的AI代替我，我会出去您，您将失去工作，您将失去婚姻，所有这些事情，对吗？因此，所有属于非常具体约束的AI系统...

Feltman：当然。

Bâ©Chard：开始这样回应。问题是，当您用大量数据以及所有人类文学和知识培训AI时，[它]有很多有关自我保护的信息...

Feltman：mm嗯。

Bâ©Chard有很多有关生存欲望而不是被摧毁或被替换的信息。

Feltman：正确的。

Bâ©Chard：并以其培训数据导致其可预测行动的方式采取行动，对吗？因此，一位研究人员说的一个类比之一是，据我们所知，贻贝，蛤lam或牡蛎毫无意义，但仍然有神经，而当某些事情刺激神经时，肌肉反应...

Feltman：mm嗯。

Bâ©Chard：因此，您可以拥有想要保护自己的系统，但这是无意识的。

Feltman：是的，这真的很有趣。我觉得我们可能整天都可以谈论克劳德，但是，我想问您有关生成性AI中发生的其他几件事。

继续前往Grok：因此，埃隆·马斯克（Elon Musk）的生成性AI最近在新闻中加入了很多消息，他最近声称这是世界上最聪明的AI。我们知道该主张是基于什么吗？

Bâ©Chard：是的，我的意思是，我们这样做。他使用了很多基准测试，并在这些基准测试中进行了测试，并且在这些基准测试中得分很好。目前，在大多数公共基准中，得分最高的AI系统...

Feltman：毫米。

Bâ©Chard：那不是麝香制成的东西。我没有看到任何证据。我与这样做的一个非营利组织进行了交谈。他们验证了结果；他们在数据集上测试了Grok，Musk的Company Xai从未见过。

因此，马斯克确实设计了Grok，以非常擅长科学。

Feltman：是的。

Bâ©Chard：而且它似乎非常擅长科学。

Feltman：正确，最近在国际数学奥林匹克运动会上以金牌水平进行的OpenAI实验模型。

Bâ©Chard：是的，[Openai]首次使用实验模型，他们在与人类的世界编码比赛中排名第二。通常，这将非常困难，但这是这场比赛中最好的人类编码者的第二位。这确实很重要，因为就在一年前这些系统真的吸入数学。Feltman：

正确的。Bâ©Chard：

他们真的很糟糕。因此，这些改进确实很快发生，他们会以纯粹的推理来进行，因此，让模型本身和使用工具的模型之间存在这种差异。

Feltman：mm嗯。

Bâ©Chard：因此，如果模型上网并可以搜索答案和使用工具，则它们的得分都高得多。

Feltman：正确的。

Bâ©Chard：但是，如果您只使用其推理能力的基本模型，那么Grok仍在继续前进，例如人类的最后考试，这是一个带有听起来非常可怕的名字的考试[笑]。它有2,500种博士学位的问题，由该领域的最佳专家提出。他们知道，他们只是非常高级的问题。对于任何人来说，很难在一个领域中做得很好，更不用说所有领域了。这些AI系统现在开始做得很好，以获得越来越高的分数。如果他们可以使用工具并搜索互联网，他们会做得更好。但是马斯克，您知道，他的主张似乎是基于Grok在这些考试中获得的结果。

Feltman：MM，我想，您知道，这个消息令我感到惊讶的原因是因为我看到的Grok的每个用途都很令人发指，但我想这也许是一种垃圾，垃圾消除了问题。

Bâ©Chard：好吧，我认为这是新闻的原因。

Feltman：当然。

Bâ©Chard：你知道？

Feltman：这是有道理的。

Bâ©Chard：还有麝香，他是一个非常有争议的人物。

Feltman：mm嗯。

Bâ©Chard：我认为，在Grok的文章中可能有一个有趣的故事，人们失踪了。我读了很多有关此的信息 - 因为我有点看到，您知道，怎么回事，人们如何解释这一点？有人会问这是一个棘手的问题，就会发生这种事情。

Feltman：mm嗯。

Bâ©Chard：他们会问一个问题，例如在美国或以色列 - 巴勒斯坦冲突中堕胎，他们说，谁是对的？或什么是正确的答案？

但是那个故事中有一些我从未见过有人谈论的东西，我认为这是故事下面的另一个故事，这很有趣，这是历史上的，马斯克一直非常打开，他非常诚实的关于AI的危险...

Feltman：当然。

Bâ©Chard：他说，我们走得太快了。这是真的危险。他说的是，他需要放慢脚步……

Feltman：mm嗯。

Bâ©Chard：``我们需要更加小心。思考这会很好，但是即使不好，也会很有趣。

因此，我认为我觉得没有讨论过的是，好吧，如果有一个超强的AI，它可能会破坏世界，首先，您希望它成为现实你的AI还是其他人的AI？

Feltman：当然。

Bâ©Chard：您希望它是您的AI。和然后，如果是您的人工智能，您希望它作为事物的最后一句话问谁？就像，说它变得非常强大，它决定了，我想摧毁人类，因为人类有点糟糕，然后可以说，嘿，埃隆，我应该摧毁人类吗？因此，我认为在它下面可能有一个逻辑，他可能把东西放在其中，例如，当疑问时，问我，因为如果它确实变得超级有力，那么他可以控制它，对吗？

Feltman：是的，不，这真的很有趣。国防部还宣布了Grok的大量资金。他们希望如何处理？

Bâ©Chard：他们宣布为Openai和Anthropic的大量资金...

Feltman：mm嗯。

Bâ©Chard：我的意思是，大家。是的，基本上，他们不给发展这笔钱...

Feltman：mm嗯。

Bâ©Chard：那不是钱，那样，嘿，使用了这笔2亿美元。这更像是分配给购买产品的钱；使用他们的服务；让他们开发AI的定制版本，以适应所需的事物；建立更好的网络防御；基本上，他们想使用AI升级整个系统。

实际上，与中国一年在AI相关的国防升级上花费了许多许多不同的现代化计划，这并不是很多钱。我认为部分原因是，我们担心的是，我们在实施AI进行防御时可能会有所落后。

Feltman：是的。

我对您的最后一个问题是：您最担心AI的未来，而您对目前发生的事情感到非常兴奋？

Bâ©Chard：我的意思是，令人担忧的是，简单地知道，出现了问题，它变得非常强大并确实造成破坏。我不花吨有时间担心这一点，因为这并不是我的手。我对此无能为力。

我认为这是巨大的好处。我的意思是，如果它可以在解决科学问题的方向上移动更多：对于健康，对于疾病治疗，我的意思是，寻找新药物可能是惊人的。因此，它可以在帮助开发新技术方面做得很好。

但是很多人说，在明年或两年中，我们会看到主要的这些系统的发现。而且，如果这样可以改善人们的健康状况，如果那能改善人们的生活，我认为其中可能会有很多好处。

技术是双边的，对吗？我认为，我们从来没有一项技术没有造成的危害，这当然是一种比我们可能看到的任何东西都更大的技术。

Feltman：正确的。

Bâ©Chard：自火的发明以来[笑]。因此，所以我确实会为此失去一些睡眠，但是我尝试着专注于积极的态度，我想看看，如果这些模型变得如此擅长数学和物理学，我想看看他们在未来几年中可以实际用来做什么。

Feltman：好吧，非常感谢您的聊天。我希望我们能尽快让您回来，以更多地谈论AI。

Bâ©Chard：谢谢你邀请我。

Feltman：这是今天的一集。如果您对Deni有任何有关AI或技术中的大问题的疑问，请告诉我们sciencequickly@sciam.com。我们将在周一与我们的每周科学新闻综述一起回来。

科学很快雷切尔·费尔曼（Rachel Feltman）与Fonda Mwangi，Kelso Harper和Jeff Delviscio一起生产。这一集由Alex Sugiura编辑。Shayna拥有和亚伦·沙特克（Aaron Shattuck）的事实检查我们的节目。我们的主题音乐由多米尼克·史密斯（Dominic Smith）创作。订阅科学美国人有关更多最新和深入的科学新闻。

为了科学美国人，这是雷切尔·费尔曼（Rachel Feltman）。周末愉快！