我的“故障”提示在用户发现它可以强制聊天GPT为了放慢速度,请仔细检查其推理并纠正自己的错误。人工智能聊天机器人变得越来越聪明更快一周过去了,但他们仍然容易遇到一个令人沮丧的问题:自信地给出不太正确的答案。
这就是为什么我开始将它与 ChatGPT 一起使用,这是一个因过于自信而臭名昭著的聊天机器人,尽管它犯了错误4 次中有 1 次。这个简单的指令迫使聊天机器人暂停,检查自己的响应并纠正潜在的错误,然后再给出最终答案。
当我将它与 ChatGPT 一起使用时,结果出奇的好——它经常发现遗漏的步骤或澄清的细节,从而使响应更加可靠。
自然地,我想知道:同样的伎俩对克劳德有用吗?Anthropic 的聊天机器人因其深思熟虑和分析能力而受到广泛赞誉。理论上,添加自我审核提示应该会更好。
文章继续如下
但经过几次测试后,我发现了一些有趣的事情:克劳德并不真正需要帮助。事情是这样的。
“故障”提示的解释
故障提示背后的想法很简单。您没有接受聊天机器人的第一个答案,而是立即要求它检查自己的工作。
这是提示:暂停——我认为可能出现了问题。检查您之前的答案:错误、遗漏的步骤、不受支持的假设和捏造的细节。然后更仔细地重写答案,并给出 1 到 10 之间的置信度评级。
对于 ChatGPT,此提示通常会显着改善响应。该模型会重新检查其答案,填补缺失的上下文,有时还会纠正错误。然而,克劳德的表现却有所不同。
测试 1:故障排除问题
首先,我向 Claude 询问了一个相当典型的技术支持问题,涉及修复不断掉线的 Wi-Fi 连接。
克劳德最初的回答已经相当彻底了。它解释了可能的原因、建议的故障排除技巧,甚至标记了某些步骤可能取决于路由器型号。
应用故障提示后,克劳德再次做出了回应——但新的答案更好了。它将信息重新组织成更清晰、逐步的故障排除过程,而不是广泛的提示列表。它删除了不必要的细节(例如特定的应用程序和网状路由器品牌),澄清了技术要点,例如专门用于 2.4GHz 网络的通道 1、6 和 11 的使用,并更加注重逻辑诊断问题 - 首先重新启动路由器并运行速度测试,然后再转向信号、通道拥塞和设备问题。
总的来说,重写的内容更短、更结构化,并且避免了对我的设置的假设。第一个答案很好,但这个答案明显更好。
测试2:推理题
接下来,我请克劳德解释每年更换一次智能手机与每三年更换一次智能手机的利弊。
同样,第一反应是平衡且结构良好的。克劳德列出了环境影响、财务考虑和技术优势。
当我触发故障提示时,克劳德修改了答案,做出了更加仔细和准确的回应。它删除或软化了过于自信的声明,例如电池更换的确切成本以及跨品牌的软件支持期限。重写还澄清了公司之间的区别,例如指出谷歌承诺为较新的 Pixel 设备提供七年的更新,而苹果的支持历来约为五到六年,但因型号而异。
此外,语气也从将某些观点陈述为事实转变为将它们视为总体趋势或考虑因素,使解释更加准确和透明。权衡本身基本保持不变,但更新版本减少了假设,并承认细节可能因设备、品牌或维修情况而异。
测试 3:常识问题
最后,我尝试了一个更广泛的问题,即人工智能模型是如何训练的以及它们仍然存在哪些局限性。
克劳德最初的回答已经包含了关于不确定性、可能的错误以及模型可能产生幻觉的领域的警告。当提示检查是否存在“故障”时,克劳德稍微修改了答案。AI 模型如何训练的基本描述保持不变,但重写澄清了预训练、微调和 RLHF 的常见流程只是一般模式而不是通用过程,并指出不同的实验室使用替代方法,例如 AI 反馈或其他对齐技术。
它还软化了之前提出的过于明确的主张,例如,将人工智能缺乏真正推理的声明重新定义为研究人员之间正在进行的争论,而不是一个既定的事实。
此外,更新版本增加了对齐训练和偏差的细微差别,承认优点和潜在缺点。总体而言,第二个答案更加精确,避免了过度概括,更好地反映了当前人工智能研究的不确定性和变化。
为什么故障提示对克劳德的作用不同
该实验揭示了不同聊天机器人行为方式的一些有趣之处。
“故障”提示对 ChatGPT 非常有效,很大程度上是因为它迫使模型放慢速度并重新评估其自身的输出。ChatGPT 的速度是出了名的快,这使得第二遍有助于发现错误。
然而,克劳德已经被设计为行事更加谨慎。它已经解释了其推理,承认不确定性并概述了假设。因此,要求克劳德“检查是否存在故障”通常不会带来什么改变。
该模型基本上已经完成了自我审查。有一次我会说,我发现这个提示对克劳德特别有帮助,那就是突发新闻。因为聊天机器人对于高度流动和不确定的信息并不是特别强大。
外卖
这里的底线是“故障”提示是检查任何聊天机器人工作的绝佳方法。然而,一些人工智能助手比其他人工智能助手更准确。
该提示与 ChatGPT 配合使用效果更好,因为它迫使快速聊天机器人放慢速度以提高准确性。这对克劳德很有帮助,但并不是必需的,因为聊天机器人已经在谨慎操作。鼓励任何聊天机器人返回并检查其工作并没有什么坏处。
关注Google 新闻汤姆指南和 将我们添加为首选来源在您的源中获取我们的最新新闻、分析和评论。