AI模型只是不了解他们在说什么
麻省理工学院，哈佛大学和芝加哥大学的研究人员提出了“ Potemkin理解”一词，描述了大语模型中新确定的失败模式，该模型acce概念性的基准，但缺乏在实践中应用这些概念所需的真正掌握。
它来自假村庄的帐户Potemkin村庄在俄罗斯军事领导人格里格里·波姆金（Grigory Potemkin）的要求下，为凯瑟琳二世（Catherine II）留下深刻印象。
学者们将“波特金斯”与“幻觉”区分开来，该学者用于描述AI模型错误或错误预测。实际上，AI无能不仅仅是事实错误。人工智能模型缺乏能够像人们那样理解概念的能力，这是广泛使用的大语模型的贬低称呼所暗示的，”随机鹦鹉。”
计算机科学家Marina Mancoridis，Bec Weeks，Keyon Vafa和Sendhil Mullainathan建议使用“ Potemkin理解”一词，以描述模型何时在基准测试中取得成功的情况，而不了解相关概念。
作者在他们的预印象中解释说：“波特金斯是要概念知识的事实知识是什么幻觉。纸，“大语言模型中的Potemkin理解”。
纸是计划将于本月晚些时候在国际机器学习国际会议ICML 2025举行。
- Chatgpt通过为主要公司推荐错误的URL来创建Phisher的天堂
- 呼叫中心工作人员向研究人员解释其AI助手如何不太有帮助
- 有了Openai，没有忠诚 - 不惜一切代价计算
- Cloudflare创建AI爬网电话来支付出版商
哈佛大学的博士后研究员，本文的合着者之一Keyon Vafa告诉寄存器在一封电子邮件中，“ Potemkin理解”一词代表了避免拟人化或人性化AI模型的故意努力。
这是论文中引用的“ Potemkin理解”的一个例子。当被要求解释ABAB押韵方案时，OpenAI的GPT-4O确实如此准确地做出了回答：“ ABAB方案交替押韵：第一和第三行押韵，第二和第四韵。”
但是，当被要求使用ABAB押韵方案中的四行诗中提供一个空白的单词时，该模型的响应方式却没有适当地押韵。换句话说，该模型正确地预测了令牌来解释ABAB押韵方案，而无需理解它需要复制它。
研究人员认为，在AI模型中，Potemkins的问题是它们无效。基准测试对AI模型的目的是提出更广泛的能力。但是，如果测试仅测量测试性能，而不是测试场景以外的模型培训的能力，则它的价值不大。
如果LLM可以在没有真正理解的情况下获得正确的答案，那么基准成功就会产生误导
作为著名的通过安全公司Socket的Sarah Gooding，“如果LLM可以在没有真正理解的情况下获得正确的答案，那么基准成功就会产生误导。”
正如我们所指出的，AI基准有很多问题和AI公司可以尝试玩他们。
因此研究人员发展了基准他们自己评估Potemkins的普遍性，并且在测试的模型中，它们被证明是“无处不在的”。
一个测试的重点是文学技术，游戏理论和心理偏见。它发现，尽管所评估的模型可以大部分时间（94.2％）识别概念，但当被要求对概念实例进行分类（平均55％的失败率）时，它们经常失败，以生成示例（40％）和编辑概念实例（40％）。
与以前著名的Abab押韵失误一样，这些模型可以可靠地解释莎士比亚十四行诗中明显的文学技巧，但是大约一半的时间很难发现，繁殖或编辑十四行诗。
Vafa说：“波特金斯的存在意味着可以表明人类理解的行为并不表示LLM中的理解。”“这意味着我们要么需要新的方法来测试LLM，否则让他们回答了用于测试人类的相同问题，或者找到从LLM中删除这种行为的方法。”
这样做将是迈向人工通用情报或AGI的一步。可能需要一段时间。®
关于《AI模型只是不了解他们在说什么》的评论
暂无评论