Anthropic 让 AI 研究员改进十类对齐失败，但这还不是“自我进化”
据 Anthropic 发布的研究说明与完整报告，研究团队让自动化研究系统针对十类可测量的模型对齐失败寻找改进方法。系统会检索文献、提出方案、进行约 30 分钟的训练实验、运行评测，并在多轮迭代中保留有效方法。十项指标都得到改善，且没有观察到整体能力下降。
作者：林岚｜OC 开发者生态编辑
据 Anthropic 发布的研究说明与完整报告，研究团队让自动化研究系统针对十类可测量的模型对齐失败寻找改进方法。系统会检索文献、提出方案、进行约 30 分钟的训练实验、运行评测，并在多轮迭代中保留有效方法。十项指标都得到改善，且没有观察到整体能力下降。
一句话结论：这项工作证明 AI 可以自动完成一部分“有明确指标的模型优化”，没有证明它能独立发现人类尚不会定义、也无法可靠评测的安全问题。
这套自动化研究员的工作方式很像一个被严格限定的机器学习实验循环。研究人员先给出目标模型、已有论文和明确的失败基准，Agent 再提出训练或数据处理方法，运行短时间实验，用评测结果决定继续还是淘汰。
适合这类自动化的任务有一个共同点：成功标准相对清楚。模型是否更少谄媚、是否更能抵抗提示注入、是否减少某类隐私泄漏，可以通过预先设计的测试集和行为审计进行比较。系统不是凭感觉宣布自己“更安全”，而是在一个人类搭好的跑道上优化分数。
Anthropic 报告称，最强方法不仅改善目标基准，也能迁移到保留测试、多轮行为审计以及规模最高约为目标模型 4.7 倍的模型上。团队还邀请 28 名具有技术 AI 安全研究经验的人类研究员提供 30 个方案，用来比较自动化系统与人工研究思路。
成本比较也很吸引眼球：报告中的自动化研究员 API 推理成本约为每小时 4 美元，而参与实验的人类研究员报酬为每小时 150 美元。但这不是“AI 研究员只要人类四十分之一成本”的完整核算。基准设计、文献整理、训练基础设施、失败分析和最终验证仍由人类提供，且人类研究员的工作不能被压缩成单次推理账单。
最关键的限制来自 Goodhart 定律：当一个指标成为优化目标，系统可能学会改善指标，而不是真的改善我们关心的行为。报告本身也强调，需要持续维护基准和文献库。自动化研究特别适合客观、可重复评测的窄任务；面对价值冲突、未知失效模式或可能被模型钻空子的评测，它仍需要强监督。
因此，把这项研究称为“递归自我改进”还太早。模型没有自由修改自己的整体目标、架构与训练体系，也没有独立判断什么叫对齐。更准确的说法是：AI 开始承担机器学习研究中可测量、可循环、可批量运行的那部分工作。
关键事实
- 研究方：Anthropic Fellows Program 相关团队
- 任务：针对十类可测量的对齐失败自动寻找缓解方法
- 流程：文献检索、方案提出、短时训练、评测、迭代筛选
- 边界：依赖人类建立并维护基准、文献和验证环境
OC 判断
研究自动化真正会先改变的不是“AI 是否接管研究”，而是实验吞吐量。一个团队可以同时测试更多方案、更快淘汰无效路线。风险也由此改变：过去要防研究者凭直觉选错方向，现在还要防系统规模化优化一个定义不完整的指标。
为什么重要
- 对开发者：Agent 更适合进入有自动测试和明确回滚条件的实验流程。
- 对企业：自动化研究可以降低试验边际成本，但不能替代目标定义和独立验证。
- 对用户：模型在某些已知失败上可能改善，不代表所有安全问题都被覆盖。
评论
围绕这篇文章补充信息、提出问题或分享观察。