许多人开始使用人工智能时，会提示机器想象它是他们希望它执行的任务的专家，但研究人员发现这种技术可能是徒劳的。

基于角色的提示（涉及在模型提示中使用“您是机器学习专家程序员”等指令）可以追溯到 2023 年，当时研究人员开始探索角色扮演指令如何影响人工智能模型的输出。

现在网上很常见提示指南其中包括这样的段落：“您是一名专业的全栈开发人员，负责从头开始构建一个完整的、可立即投入生产的全栈 Web 应用程序。”

但研究过这种方法的学者报告说，它并不总是能产生优异的结果。

在预印本南加州大学 (USC) 附属研究人员在题为“专家角色改善 LLM 一致性但损害准确性：使用 PRISM 引导基于意图的角色路由”的论文中发现，基于角色的提示是依赖于任务的，他们认为这解释了混合结果。

对于依赖于对齐的任务，例如写作、角色扮演和安全，角色确实可以提高模型性能。对于数学和编码等依赖预训练的任务，使用该技术会产生更糟糕的结果。

原因似乎是告诉模型它是某个领域的专家实际上并没有传递任何专业知识——训练数据中没有添加任何事实。

事实上，告诉模型它是特定领域的专家会阻碍模型从预训练数据中获取事实的能力。

• Snowflake 的持续宣传：将 AI 引入数据，而不是将数据引入 AI
• 闪电般快速的漏洞使得快速修补、稍后提问变得至关重要
• 没有政府发言人的 RSA 小组表示，公私合作伙伴关系对于阻止中国的台风至关重要
• 如果你爱你的老板，想象一下你会更加爱他们的人工智能双胞胎

研究人员使用测量大规模多任务语言理解 (MMLU) 基准（一种评估法学硕士表现的方法）来测试基于人物角色的提示，结果发现“当法学硕士被要求在多项选择答案之间做出决定时，专家人物角色在所有四个学科类别中的表现始终低于基本模型（总体准确率：68.0％ vs. 基本模型的 71.6％）。一个可能的解释是人物角色前缀激活了模型的指令遵循模式，否则该模式将专门用于以事实回忆。”

但基于角色的指导确实有助于引导模型做出满足基于法学硕士的法官评估一致性的响应。例如，作者指出，“专门的‘安全监视器’角色提高了所有三个安全基准的攻击拒绝率，其中 JailbreakBench 的增幅最大（从 53.2% 上升到 70.9%，增加了 17.7 个百分点）。”

南加州大学博士生、该研究的合著者之一胡子兆告诉我们登记册在一封电子邮件中，根据研究结果，要求人工智能采用专家程序员的角色将无助于代码质量或实用性。

但在谈到我们上面链接的即时指导时，胡说：“许多其他方面，例如 UI 偏好、项目架构和工具偏好，都更倾向于对齐方向，这确实受益于详细的角色。”

– 在提供的示例中，我们认为一般的专家角色是不必要的，例如“您是专家全栈开发人员”，而细粒度的个性化项目需求可能有助于模型生成满足用户需求的代码。”

鉴于有关专业知识的提示确实会产生影响，研究人员（Hu 及其同事 Mohammad Rostami 和 Jesse Thomason）提出了一种称为 PRISM（通过基于意图的自我建模的角色路由）的技术，该技术试图利用专家角色的好处而不造成伤害。

“我们使用门控 LoRA [低阶适应] 机制，其中基础模型完全保留并用于依赖于预先训练的知识的世代，”他解释说，并补充说“这个决策过程是由门学习的。”

当基于角色的行为改善输出时，LoRA 适配器被激活，否则会退回到未修改的模型。

研究人员设计 PRISM 是为了避免其他方法的权衡——基于提示的路由（在推理时应用专家角色）和监督微调（将行为融入模型权重）。

当被问及是否有办法概括有效的提示方法时，胡说：“我们不能肯定地说一般提示，但从我们对专家角色提示的发现来看，一个潜在的观点是，‘当你更关心一致性（安全、规则、结构遵循等）时，请具体说明你的要求；如果你更关心准确性和事实，则不要添加任何内容，只需发送查询。’”