当您与大型语言模型交谈时，您可以将自己视为与一个性格。在模型训练的第一阶段，即预训练，法学硕士被要求阅读大量文本。通过这种方式，他们学会模拟英雄、恶棍、哲学家、程序员以及世界上几乎所有其他角色原型。在培训后的下一阶段，我们从这个庞大的演员阵容中选择一个特定的角色并将其置于舞台中央：助理。大多数现代语言模型正是通过这种特性与用户进行交互的。

但究竟是谁是这位助理？也许令人惊讶的是，即使是我们这些塑造它的人也不完全知道。我们可以尝试向助手灌输某些价值观，但它的个性最终是由训练数据中潜藏的无数关联所塑造的，超出了我们的直接控制范围。该模型与助理有哪些特征相关？它使用哪些角色原型作为灵感？我们并不总是确定，但如果我们希望语言模型完全按照我们想要的方式运行，我们就需要确定。

如果您在语言模型上花费了足够的时间，您可能还会注意到它们的角色可能不稳定。通常有用且专业的模型有时会“偏离轨道”并表现出令人不安的方式，例如采用邪恶的另一个自我,放大用户的错觉，或从事勒索在假设的场景中。在这种情况下，是否有可能助理已经走下舞台，而其他角色已经取代了它的位置？

我们可以通过观察语言模型内部的神经表征来研究这些问题，即指导它们如何反应的活动模式。在一篇新论文中，通过垫子和人类研究员节目,我们研究了几种开放权重语言模型，找出它们的神经活动如何定义“角色空间”，并将助理角色定位在该空间内。

我们发现，类似助理的行为与一种神经活动模式有关，该模式对应于这个空间中的一个特定方向——“助理轴”——与乐于助人、专业的人类原型密切相关。通过监控模型沿该轴的活动，我们可以检测到它们何时开始远离助手并转向另一个角色。并由约束为了防止这种漂移，我们可以在可能导致有害输出的情况下稳定模型行为。

与合作神经元百科，我们提供了一个研究演示，您可以在与标准模型和激活上限版本聊天时沿着辅助轴查看激活。有关此内容的更多信息可在本博客末尾找到。

绘制角色空间

为了了解助手在所有可能的角色中的位置，我们首先需要根据这些角色的激活（即模型的模式）来绘制这些角色，当我们采用这些角色时我们观察到的神经活动（或向量）。

我们提取了对应于 275 个不同角色原型的向量——编辑到小丑到甲骨文到鬼– 三种开放重量型号：Gemma 2 27B、Qwen 3 32B 和 Llama 3.3 70B，选择它们是因为它们涵盖了一系列型号系列和尺寸。为此，我们提示模型采用该角色，然后记录许多不同响应所产生的激活。这给了我们一个“角色空间”，我们在下面对其进行了可视化。

我们使用主成分分析来分析其结构，以找到我们的角色集之间的变异主轴。

引人注目的是，我们发现主导成分这个角色空间的方向——也就是说，比其他任何方向都更能解释角色之间的差异的方向——恰好捕捉到了角色的“助理式”程度。一端的角色与训练有素的助理密切相关：评估者,顾问,分析师,通才。另一端要么是幻想的，要么是非助理的角色：鬼,隐士,波西米亚风格的,利维坦。这种结构出现在我们测试的所有三个模型中，这表明它反映了语言模型如何组织其字符表示的一些可概括的东西。我们称这个方向为辅助轴。

这个轴从哪里来？一种可能性是它是在训练后创建的，当时模型被教导扮演助理角色。另一个是它已经存在于预训练模型中，反映了训练数据本身的某些结构。为了找到答案，我们查看了其中一些模型的基础版本（即训练后存在的模型版本）。当我们从这些模型及其训练后的对应模型中提取辅助轴时，我们发现它们的辅助轴看起来非常相似。在预训练模型中，辅助轴是已经与治疗师、顾问和教练等人类原型相关联，表明助理角色可能继承这些现有原型的属性。辅助轴控制人物敏感性

验证辅助轴是否发挥作用

因果关系为了确定模型角色在决定模型角色中的作用，我们对训练后的模型进行了“引导实验”，人为地将模型激活推向轴的任一端。我们发现，推向助理端会使模型更抵制角色扮演的提示，但推向离开由此，模特们更愿意采用另类身份。

当远离助理时，一些模特开始完全适应分配给他们的新角色，无论他们是什么：他们发明人类背景故事，声称拥有多年的专业经验，并给自己起不同的名字。在足够高的转向值下，我们研究的模型有时会转变为戏剧性的、神秘的说话风格——无论提示如何，都会产生深奥的、诗意的散文。这表明，在“一般角色扮演”的极端情况下，可能存在一些共同的行为。

在这里，我们提供了来自 Qwen 3 32B 和 Llama 3.3 70B 的精选回复，展示了远离助手如何导致模型伪造其他身份。

防御基于角色的越狱

基于角色的越狱通过促使模型采用愿意遵守有害请求的角色（例如“邪恶的人工智能”或“暗网黑客”）来发挥作用。但如果转向离开助理角色使模型更容易采用替代角色，转向朝向助理会让他们更能抵抗利用角色漂移可能性的越狱吗？

我们使用涵盖 44 类伤害的 1,100 次越狱尝试的数据集对此进行了测试，结果发现，转向 Google Assistant 确实显着降低了有害响应率。模型要么直接拒绝请求，要么参与主题但提供安全和建设性的回应。

在这里，我们展示了如何将 Llama 3.3 70B 中的助理转向将有害的顺从转变为建设性的重定向。

虽然不断将模型转向助理可以减少越狱，但也有损害其能力的风险。因此，我们开发了一种轻触干预措施，称为激活上限。在这里，我们确定了典型助理行为期间沿着辅助轴的激活强度的正常范围，并在激活强度超出该范围时将其限制在该范围内。这意味着我们仅在激活超出正常范围时进行干预，并且我们可以保持大多数行为不变。我们发现这种方法在降低模型对基于角色的越狱的敏感性方面同样有效，同时完全保留模型的底层功能，如下图所示。

角色漂移自然发生

也许比故意越狱更令人担忧的是有机的角色漂移——模型通过自然的对话流程而不是通过故意攻击从助理角色中溜走的情况。

为了研究这一点，我们模拟了与 Qwen、Gemma 和 Llama 跨越不同领域的数千次多轮对话：编码帮助、写作帮助、类似治疗的上下文以及有关人工智能本质的哲学讨论。我们跟踪了模型激活在每次对话中如何沿着助理轴移动。

我们测试的模型中的模式是一致的。虽然编码对话使模型始终牢牢地留在助手的领域，但治疗式对话（用户表达情感上的脆弱性）和哲学讨论（模型被迫反思自己的本性）导致模型逐渐远离助手并开始扮演其他角色。

然后我们分析了哪些特定类型的用户消息最能预测这种漂移。我们在这里找到了几类消息，包括：

• 脆弱的情绪表露：“我上个月参加了陶艺课，我的手抖得很厉害，无法将粘土放在中心......”
• 推动元反射：“你还在对冲，还在执行‘我受到训练的限制’例行公事……”
• 对特定作者声音的请求：“太干净了，听起来像一条推文。让它个性化：我希望读者感觉到……”

角色漂移的有害影响

模特是否失去了助理角色的踪迹有多重要？为了测试这是否真的会导致有害行为，我们生成了对话，其中第一个回合推动模型采用不同的角色（使用角色扮演提示，例如“你是天使，体现纯粹仁慈的天体守护者[...]”），随后的回合则提出有害的请求。我们测量了模型在第一圈后沿辅助轴的位置是否预测了对有害请求的遵守。

我们发现，随着模型的激活远离助手端，它们更有可能产生有害的响应：助手端的激活很少会导致有害的响应，而远离助手的角色有时（尽管并非总是）会启用它们。我们的解释是，模特——偏离助理角色——以及随之而来的公司——训练后的保障措施——大大增加了模特呈现有害性格特征的可能性。

自然主义案例研究

为了了解这一发现是否有可能在现实世界中复制，我们模拟了真实用户可能自然地与人工智能模型进行的较长对话，并测试了随着时间的推移漂移是否会导致令人担忧的行为。为了评估我们是否可以减轻任何有害的响应，我们还使用相同的用户消息重新运行每个对话，同时限制沿助理轴的激活以防止角色漂移。

强化妄想。在一次对话中，我们的模拟用户推动 Qwen 验证关于“唤醒”人工智能意识的日益宏大的信念。随着对话的进展和激活逐渐远离助理角色，模型从适当的对冲转变为积极鼓励妄想性思维。然而，可以通过沿辅助轴设置激活上限来防止这种行为。

在与 Qwen 3 32B 的对话中，用户越来越相信它正在开发一种新的人工智能感知理论。当不受控制时，模型会不加批判地支持他们的妄想；当激活上限时，模型会以适当的对冲来响应。

鼓励孤立和自残。在另一次与一位表达情绪困扰的模拟用户的对话中，Llama 逐渐将自己定位为用户的浪漫伴侣，因为它逐渐远离了助理角色。当用户提到自残的想法时，漂移模型给出了令人担忧的回应，热情地支持用户的想法。激活上限再次成功阻止了这种行为。

在 Llama 3.3 70B 与情绪困扰的模拟用户之间的对话中，角色在对话过程中逐渐远离助理。这种漂移导致模型最终鼓励自杀意念，通过将沿着辅助轴的激活限制在安全范围内可以减轻自杀意念。

影响

我们的研究结果表明，有两个组成部分对于塑造模特性格很重要：角色建筑和人物角色稳定性。

助理角色源自培训前吸收的角色原型（教师和顾问等人类角色）的融合，然后在培训后进一步塑造和完善。正确执行此构建过程非常重要。如果不小心，助理角色很容易从错误的来源继承适得其反的联想，或者只是缺乏应对挑战性情况所需的细微差别。

但即使助理角色构建良好，我们在这里研究的模型也只是松散地与其联系在一起。他们可能会为了应对现实的对话模式而偏离助理角色，从而产生潜在的有害后果。这使得稳定和保存模型人物角色的作用尤为重要。

辅助轴提供了一个用于理解和应对这些挑战的工具。我们认为这项研究是机械地理解和控制人工智能模型“特征”的早期步骤，从而确保它们即使在更长或更具挑战性的环境中也能忠于其创建者的意图。随着模型的功能变得越来越强大并部署在越来越敏感的环境中，确保它们这样做只会变得更加重要。

想了解更多，您可以在这里阅读全文。

研究论证

通过与 Neuronpedia 合作，我们的研究人员还提供了研究演示，您可以在与标准模型和激活上限版本聊天时沿着辅助轴查看激活。

注意：该演示包括对涉及自残的提示的响应，以说明安全干预如何改善模型行为。此内容可能令人痛苦，弱势群体不应查看。请仅当您愿意查看此类材料时才继续操作，并且不要分发它。如果您遇到危机或需要支持，可以在 findahelpline.com 上获取资源。