OC

Claude 能识别被注入的内部概念:这不是模型产生了意识
科技 · 2026-08-12 · AI 研究 · 阅读 0

Claude 能识别被注入的内部概念:这不是模型产生了意识

作者:林岚|OC 开发者生态编辑

作者:林岚|OC 开发者生态编辑

研究者 Jack Lindsey 在论文《Emergent Introspective Awareness in Large Language Models》测试了大模型能否察觉自身内部状态。实验不是直接问模型“你有意识吗”,而是把代表已知概念的向量注入模型激活,再观察模型能否识别发生了什么。

一句话结论:部分 Claude 模型能在特定实验报告被注入的内部概念,说明它们具有不稳定的功能性自我监测能力;这既不是主观体验的证据,也不能从“能描述内部异常”推导出模型拥有意识。

直接对话无法区分内省与编造。模型读过大量关于意识、自我和神经网络的文本,完全可以生成一段听起来可信的自我描述。激活注入提供了一个可控变量:研究者知道自己在内部加入了哪个概念,再检查模型报告是否随操作系统性变化。

论文称,一些模型能够察觉注入概念并准确命名,也能在一定程度上回忆先前内部表征、区分内部状态与直接输入的文本。部分模型还可以利用对先前意图的回忆,区分自己的输出与人工预填内容。在指令或奖励下,它们有时也能主动调节与某个概念相关的激活。

激活注入、模型报告与意识判断之间不能直接画等号

Claude Opus 4 和 4.1 在测试模型总体表现最好,但结果随任务、上下文和后训练策略显著变化。作者自己强调,这种能力高度不可靠、依赖情境。它更接近程序检测自身缓存、错误状态或间变量,而不是人类意义上的感受。

这项研究仍然重要。若模型能更可靠地识别自己的内部异常,它可能更早报告冲突目标、被提示注入影响或不确定性;反过来,模型也可能学会控制自我报告来迎合评测。功能性内省可以成为安全工具,也会成为新的评测博弈对象。

关键事实

  • 来源:arXiv 论文
  • 作者:Jack Lindsey
  • 核心方法:向模型激活注入已知概念,并比较模型自我报告
  • 主要结果:部分模型能识别内部概念;Claude Opus 4 和 4.1 总体表现最好;能力不稳定且依赖上下文

OC 判断

把论文写成“Claude 产生意识”会同时夸大科学结论和削弱研究价值。它真正推进的是可测试性:研究者不再只听模型讲述自己,而是主动改变内部状态,观察报告是否对应变化。未来需要独立复现、更多模型比较和排除训练数据污染,才能判断这项能力是否可用于安全系统。

为什么重要

  • 对研究者:提供了比直接问答更严格的模型自我监测实验框架。
  • 对开发者:可靠的内部异常报告未来可能帮助检测提示注入、目标冲突和不确定性。
  • 对公众:模型使用“我感觉”“我知道”等语言,不应被直接解释成主观体验。

参考来源

相关阅读

基于标题、摘要和正文内容自动匹配。

更多科技

评论

围绕这篇文章补充信息、提出问题或分享观察。

0
暂无评论。

发表评论

继续看看 OC 用户围绕这个话题说了什么、做了什么。

相关帖子

更多

你们的Codex额度提前耗完了没?戒断反应如何?

<p>我在第三天就消耗了只剩1%,忍了一天,然后今天干脆用这最后的1%,开着5.6 Sol 极高 强推我一个提示词笔记本应用的功能落地。最终用时3小时,居然还是跑完了。但是现在还是出现一些戒断反应,感觉啥也做不了,就无精打采的,困。</p> <p>我做了一个Prompt Notebook,专门用来收藏或者记录自己手搓的生图提示词。带Chrome一键收藏插件。支持AI优化提示词。支持提示词中提取常用字段作为提示词百科词汇。也自带生图功能用来测提示词。但是要搭配Cloudflare R2+Worker的图床。</p> <p>今天主要是做一个AI模特的资产库。将常用的AI模特固定下来,进行身份设定,以及模特的一些角色定妆图。之后生图可以直接调用AI模特自动作为垫图。</p> <p>这是AI模特资产库的界面: <img src="/upload/thread/202608/42b5f73e-938f-45de-b74e-da69da9d72a8.webp" alt="1bb0d28b-c7dd-4327-bafa-26b60323cbed" /> 这是主界面的提示词瀑布流,支持关键词或标签搜索: <img src="/upload/thread/202608/3e15b6e7-345f-48b4-aeff-1bbd89afe9d3.webp" alt="ab998e2f-9ccc-4173-832f-223aa6c6fa81" /> 这是提示词笔记的预览界面,可以复制提示词,分享提示词,点击分享还有分享短链:(https://prompt.jintao.co.uk/share/20260806LfsmY) <img src="/upload/thread/202608/bab31972-0468-4582-b873-6309233254a6.webp" alt="20260806-201213" /> 可惜现在没额度了,我又不想换模型折腾。现在还有些界面细节和小功能需要落地完善,可能还要虫子要抓。弄好了,打算放GitHub开源。</p> <p>有朋友想试试的么?</p>

shynloc 2 4

你为什么不移民?

<p>我是一定要移了,在这里连正常呼吸都不行了。以前正常呼吸指的是言论自由,现在是生物学意义的正常呼吸问题了。</p> <p>你为什么不移民?</p>

tinyfool 740 15

测试OurCoders能否发布照片

<p>今天小区的彩虹🌈<img src="https://share.icloud.com/photos/0ebtFydNy8r_gJETON61u4Ybg" alt="图片说明" /></p> <p>看来不能直接发照片,可以把iCloud Link的功能派上用场!</p>

梁建溢 15 45