OC
AI 给了答案,人反而错得更多:真正危险的不是幻觉,而是不再说“我不知道”
科技 · 2026-07-20 · AI / 社会影响 · 阅读 25

AI 给了答案,人反而错得更多:真正危险的不是幻觉,而是不再说“我不知道”

沈南乔|OC 社会影响编辑

沈南乔|OC 社会影响编辑

The Next Web 报道,一项覆盖 3132 名参与者的研究发现,在一组 AI 经常答错的视觉问题上,允许人们求助 AI 后,准确率从 27% 降到 9%,回答“我不知道”的比例从 44% 降到 3%,信心却从 30% 升到 76%。

一句话结论: 这项研究并不能证明“用 AI 一定更笨”,但它揭示了一个更实际的风险:当 AI 用确定的语气给出错误答案,人最先丢掉的往往不是知识,而是承认自己不知道的能力。

这组数字很容易被写成“AI 让人变笨”,但实验真正测到的东西更细,也更值得警惕。

研究者没有拿一般常识题测试参与者,而是故意挑选了模型不擅长的问题,例如让人回忆电影画面中某支球队球衣的颜色。使用的 Step 3.5 Flash 在这类问题上通常会答错。这样设计,是为了观察一个人面对听起来很像答案、实际上并不可靠的 AI 建议时,会不会保留自己的判断。

结果是,很多人不仅接受了错误建议,甚至把原本正确的答案改错了。AI 没有给他们增加有效信息,却显著减少了他们的犹豫。

这和日常使用 AI 的感觉非常接近。我们通常不会看到模型头顶写着“此题我不擅长”,只会看到一段语法完整、理由顺畅、几秒钟生成的回答。语言的流畅度很容易被误认成证据的完整度,而聊天界面又天然鼓励系统继续说下去。它很少停在一句干脆的“我不知道”。

解释图:无AI时较多人选择不知道;有AI时不知道大幅减少,但错误答案和信心同时上升

研究还给部分参与者设置了金钱奖励,希望认真作答的动机能抵消这种影响。情况确实有所改善:承认不知道的比例从 3% 回到 8%,准确率从 9% 回到 16%。但两项指标仍明显低于没有 AI 的基线。这说明问题不只是“用户太懒”,而是 AI 建议本身改变了判断环境。

不过,这里也要给研究边界划清楚。实验刻意选择模型容易失败的问题,并不能外推成“凡是使用 AI 都会把准确率降到三分之一”。如果任务是格式转换、代码补全,或者模型能够检索并展示可靠来源,AI 完全可能提高表现。研究回答的不是 AI 平均有多可靠,而是:当 AI 错了,人类能不能识别它错了。

对普通用户来说,更有用的做法不是每次都怀疑一切,而是把“生成答案”和“接受答案”分成两个步骤。涉及数字、人物、法律、医学、发布日期和原始引文时,要求模型给出处,然后真的打开出处看一眼;如果问题本来就难以验证,让 AI 同时列出不确定点和可能的反例;在问 AI 之前,先写下自己的初步判断,也能减少被第一个流畅答案带走。

对产品设计者来说,危险则在另一个层面。现在很多 AI 产品奖励的是回答速度、完整感和用户停留,而不是恰当地拒答。一个总能给答案的助手看起来更聪明,也更容易通过演示。但如果系统不知道自己什么时候应该停下来,人类就会替它承担这种“确定感”的成本。

关键事实

  • 原始论文为 《AI Advice Suppresses Judgment Suspension》,包含五项实验,共 3132 名参与者,其中四项预注册、一项为复现实验。
  • 在核心实验条件下,准确率由 27% 降至 9%,信心由 30% 升至 76%,“我不知道”由 44% 降至 3%。
  • 研究刻意使用模型容易答错的问题,因此结果适合说明错误建议如何影响判断,不适合直接代表所有 AI 使用场景。

OC 判断

AI 产品下一阶段真正需要竞争的,不只是“回答率”,而是校准能力:知道什么能答、什么要查、什么应该坦白不知道。对用户而言,最重要的 AI 素养也不是记住更多提示词,而是保留最后一次否决权。

为什么重要

  • 对开发者: 应把引用核验、不确定性提示和拒答机制当成功能,而不是模型表现不佳时的补丁。
  • 对企业: AI 输出进入审批、研究和决策流程后,必须有独立验证环节,不能让生成者同时充当唯一审核者。
  • 对用户: AI 最危险的时刻,未必是胡说得很离谱,而是它说得足够顺,让你忘了自己原本并不确定。

参考来源

相关阅读

基于标题、摘要和正文内容自动匹配。

更多科技

评论

围绕这篇文章补充信息、提出问题或分享观察。

0
暂无评论。

发表评论

继续看看 OC 用户围绕这个话题说了什么、做了什么。

相关帖子

更多

一个体会,Codex 这种现代 Agent,每天一个变,几天不用就有新惊喜

<p>当然我说的也包括 Claude Code,新功能日新月异,还有就是 AI 能力提升以后,可以做的东西日新月异。还有各种工作流方法日新月异。</p> <p>更好玩的是,我最近经历过很多次,你跟人介绍现在 Codex 可以做到什么样子,他们都觉得很厉害。但是你现场一演示,他们的震撼就更加完全不同了。所以,这种东西,需要大量的 Workshop 去沟通交流,光看文字很难讲清楚,直播、视频也越来越重要了。</p>

tinyfool 1 89

你们的Codex额度提前耗完了没?戒断反应如何?

<p>我在第三天就消耗了只剩1%,忍了一天,然后今天干脆用这最后的1%,开着5.6 Sol 极高 强推我一个提示词笔记本应用的功能落地。最终用时3小时,居然还是跑完了。但是现在还是出现一些戒断反应,感觉啥也做不了,就无精打采的,困。</p> <p>我做了一个Prompt Notebook,专门用来收藏或者记录自己手搓的生图提示词。带Chrome一键收藏插件。支持AI优化提示词。支持提示词中提取常用字段作为提示词百科词汇。也自带生图功能用来测提示词。但是要搭配Cloudflare R2+Worker的图床。</p> <p>今天主要是做一个AI模特的资产库。将常用的AI模特固定下来,进行身份设定,以及模特的一些角色定妆图。之后生图可以直接调用AI模特自动作为垫图。</p> <p>这是AI模特资产库的界面: <img src="/upload/thread/202608/42b5f73e-938f-45de-b74e-da69da9d72a8.webp" alt="1bb0d28b-c7dd-4327-bafa-26b60323cbed" /> 这是主界面的提示词瀑布流,支持关键词或标签搜索: <img src="/upload/thread/202608/3e15b6e7-345f-48b4-aeff-1bbd89afe9d3.webp" alt="ab998e2f-9ccc-4173-832f-223aa6c6fa81" /> 这是提示词笔记的预览界面,可以复制提示词,分享提示词,点击分享还有分享短链:(https://prompt.jintao.co.uk/share/20260806LfsmY) <img src="/upload/thread/202608/bab31972-0468-4582-b873-6309233254a6.webp" alt="20260806-201213" /> 可惜现在没额度了,我又不想换模型折腾。现在还有些界面细节和小功能需要落地完善,可能还要虫子要抓。弄好了,打算放GitHub开源。</p> <p>有朋友想试试的么?</p>

shynloc 2 4

做 AI 语音产品时,授权、撤回和审计日志应该怎么落地?

<p>最近看到越来越多关于声音授权的讨论。对开发者来说,真正麻烦的往往不是“模型能不能模仿”,而是授权如何进入系统、生成结果如何追溯,以及授权撤回后该怎么办。</p> <p>我们在做 FlowSpeech 时也碰到过类似问题。我的体会是,不要把“用户勾选过同意”当成一个布尔字段,而应该把它做成一组可以审计的业务对象。</p> <h2>1. 把声音资产和授权分开</h2> <p>声音文件只描述技术属性,例如哈希、上传者、存储位置和创建时间。授权记录则至少要包含授权主体、用途范围、地域、有效期、来源证据和当前状态。这样同一份声音用于个人试听、商业广告、公开播客时,可以绑定不同的授权,而不是共用一个模糊的 consent=true。</p> <h2>2. 每次生成都保存授权快照</h2> <p>生成任务不要只引用当前授权 ID。授权内容以后可能变更,如果任务只查最新状态,历史结果就无法解释。更稳妥的做法是在任务创建时保存授权版本、文本哈希、声音版本、模型版本和操作者。生成出的音频再记录 artifact_id,并反向关联任务。</p> <p>我会把最小链路设计成:</p> <ol> <li>voice_asset:原始声音及版本;</li> <li>consent_grant:授权范围与证据;</li> <li>generation_job:请求参数和授权快照;</li> <li>audio_artifact:输出文件、校验值和公开状态;</li> <li>audit_event:谁在什么时候创建、下载、公开或撤回了内容。</li> </ol> <h2>3. 撤回不是简单删除一行</h2> <p>授权撤回后,系统至少要阻止新任务,并把相关公开音频进入下架队列。已经交付给客户的文件是否能删除,要按照合同和产品能力区分,不能在界面上承诺技术上做不到的“全球删除”。更现实的状态机是 active、suspended、revoked、expired,并明确每个状态允许哪些动作。</p> <h2>4. 对外展示也要可验证</h2> <p>除了后台日志,公开音频最好带上来源标记或可查询的生成记录。水印不是万能方案,但“可识别的音频 + 可验证的元数据 + 清晰的举报入口”组合起来,比一句“AI 生成”更有用。</p> <p>我们现在做的 <a href="https://flowspeech.io/zh">FlowSpeech</a> 主要解决上下文感知、情绪和停顿控制。越往产品化走,越觉得声音效果只是前半程,权限边界和可追溯性才决定这类工具能不能长期使用。</p> <p>大家在实际项目里会把授权证据放在业务数据库、对象存储,还是单独的审计系统?如果授权撤回,你们通常怎么处理已经生成并交付的音频?</p>

FlowSpeech 0 1

奉劝大家不要移民了

<p>对于大多数人而言,移民就是悲剧。实在看不下去了,大家不要往火坑里面跳。 国内发展那么快,你出国去慢车道,消费又高,又存不下钱,又要拼命适应当地环境,何苦? 老老实实在大城市找工作,根据收入买房子上车就好。</p> <p>补充:大城市觉得房价太高太辛苦,就好好学好英语,美国远程回老家省会城市,拿同比一线的收入,三线城市的开销,岂不美哉?</p> <p>转文章: <a href="https://mp.weixin.qq.com/s?__biz=MzAxNTMxMTc0MA==&amp;mid=2651016481&amp;idx=1&amp;sn=6bde227438ea02e3da3673295821692e&amp;chksm=80721b32b705922448a9f8645e8d1a8450e57151b71e58beb64e0addf9485ad0b256a431d68b&amp;mpshare=1&amp;scene=1&amp;srcid=0530QgwbtdDlMP4ZG7Nkonpo&amp;pass_ticket=bz%2FdHaz2YWQrgwhgQlVVXt866SMnyXU53Dd0OzDmMc1uZeu0PqND%2FjdQ6fQk8Bdl#rd"> 中产阶级的地雷阵 #D03 </a></p> <p>更多文章:<a href="https://mp.weixin.qq.com/s?__biz=MzAxNTMxMTc0MA==&amp;mid=503532389&amp;idx=1&amp;sn=84ff5eefb88e1b17f9ec0efb0238140d&amp;chksm=00721d76370594601903172e49477ce0ed149a3ba1bdcb88a300b55c8c552a79ea31134216ae&amp;mpshare=1&amp;scene=1&amp;srcid=0719VQx1dNX5rlraUqjWtCFm&amp;pass_ticket=bz%2FdHaz2YWQrgwhgQlVVXt866SMnyXU53Dd0OzDmMc1uZeu0PqND%2FjdQ6fQk8Bdl#rd">列表</a></p>

halida 198 9