今年早些时候，一名香港金融工作人员被骗向利用 Deepfake 技术进行诈骗的骗子支付了 2500 万美元。假装是公司的首席财务官在视频电话会议中。这位金融家以为屏幕上的图像是他的同事，于是授权将数百万美元转给冒充朋友的诈骗者。
这是一个戏剧性的例子，但被生成人工智能愚弄的上班族并不是唯一一个被愚弄的办公室职员。这项技术严重依赖于经过大量数据训练的大型语言模型来学习和预测语言模式，自 2022 年 ChatGPT 推出以来，该技术已变得越来越广泛。
我们如何解释为什么一些与生成式人工智能聊天机器人互动的人如此轻易地相信他们正在与某一类人进行对话？答案可能在于对话规则本身，以及它们在我们与世界互动的方式中根深蒂固的方式。
为什么要炒作？
基于语言模型的生成式人工智能系统生成语言学家称之为“的文本”不接地的Ø：它缺乏相互理解这是人与人之间对话的重要组成部分。然而，当人类进行互动时，我们倾向于假设我们的伴侣有思想。
我们本能地将与我们互动的各种非人类拟人化。在生成式人工智能最近出现飞跃之前，这主要是动物。
现在是机器。在生成式人工智能出现之前，我们与计算机的交互通常涉及最少的语言交流。然而，有了生成式人工智能，计算机系统就能以一种看似真实的方式认识我们。这种“看似真实”是该技术成功的重要组成部分。
那么它是如何运作的呢？
语言与思想
在最近的一篇论文美国科学家凯尔·马霍瓦尔德、安娜·伊万诺娃及其同事认为，我们正在将语言和思想混为一谈。因为生成式人工智能系统可以流利地使用语言，所以我们相信它们可以思考。（郑重声明，他们不能。）
作者区分了正式的语言能力（语言规则和统计模式的知识）和功能性的语言能力（如何在现实世界中使用语言）。
仅仅产生受规则约束的话语是不够的。它们还必须在上下文中适当使用。在此示例中（当提示提供准确但不恰当的对话响应示例时，在 ChatGPT-4o 的帮助下制作），Alex 提供的响应虽然实际上正确，但未能满足朋友的支持需求。
朋友：我对明天的演讲感到很害怕。
亚历克斯：压力会激活你身体的战斗或逃跑反应，增加心率和皮质醇水平。
马霍瓦尔德和同事表示，我们对生成人工智能系统智能的信念来自于它们的语言能力。然而，这个难题的一个关键部分是发生了什么人类当我们与技术互动时。
谈话规则
了解生成式人工智能聊天机器人对人类的吸引力的关键在于机器人执行的类型：对话。谈话是有规则和惯例的。
不同文化之间的对话习惯有所不同，并且存在不同的期望。至少在西方文化中，语言学家经常认为对话是按照以下规则进行的：四个原则或“格言”英国语言哲学家保罗·格赖斯 (Paul Grice) 于 1975 年提出。
质量准则：诚实；请勿提供虚假或没有证据支持的信息。
数量最大化：提供所需的信息；不要提供太多或太少的信息。
相关性准则：仅提供与所讨论的主题相关的信息。
方式准则：清晰、简短、有序；避免晦涩和含糊。
不惜一切代价寻找相关性
生成式人工智能聊天机器人通常在数量方面做得很好（有时会错误地提供太多信息），而且它们往往具有相关性和清晰性（这是人们使用它们来提高写作水平的原因）。
然而，他们常常未能遵守质量准则。他们倾向于产生幻觉，给出看似权威但实际上是错误的答案。
然而，生成式人工智能成功的关键在于 Grice 的主张，即任何从事有意义的交流的人都会遵守这些格言和准则。会假设其他人也在关注他们。
例如，说谎之所以有效，是因为与说谎者互动的人会认为对方说的是真话。与提出无关评论的人互动的人会不惜一切代价试图找到相关性。
格赖斯合作原则认为对话的基础是我们相互理解的总体意愿。
合作意愿
因此，生成式人工智能的成功部分取决于人类在对话中合作的需要以及本能地被互动所吸引的需要。这种在童年时学到的通过对话进行互动的方式已经成为习惯。
格赖斯认为“需要付出很大的努力才能彻底改变这个习惯”。
那么，下次您使用生成式人工智能时，请务必小心。请记住，它只是一个语言模型。不要让你对对话合作的习惯性需求将机器视为人类同胞。