州总检察长警告微软、OpenAI、谷歌和其他人工智能巨头修复“妄想”输出 |TechCrunch
作者：Lucas Ropek
一串之后令人不安的心理健康事件涉及人工智能聊天机器人，一组州总检察长已向人工智能行业的顶级公司发出了一封信，警告要纠正“妄想输出”，否则可能会违反州法律。
的信该协议由美国各州和地区的数十个总检察长与美国国家总检察长协会签署，要求包括微软、OpenAI、谷歌和其他 10 家主要人工智能公司在内的公司实施各种新的内部保障措施来保护其用户。信中还包括 Anthropic、Apple、Chai AI、Character Technologies、Luka、Meta、Nomi AI、Perplexity AI、Replika 和 xAI。
这封信是作为一场关于人工智能监管的斗争正在酝酿之中州政府和联邦政府之间。
这些保障措施包括对大型语言模型进行透明的第三方审核，以寻找妄想或阿谀奉承想法的迹象，以及旨在在聊天机器人产生对心理有害的输出时通知用户的新事件报告程序。信中指出，这些第三方（可能包括学术界和民间社会团体）应该被允许“评估预发布的系统而不会受到报复，并在未经公司事先批准的情况下发布他们的调查结果”。
–GenAI 有潜力以积极的方式改变世界的运作方式。但它也造成了——并且有可能造成——严重伤害，特别是对弱势群体，”信中指出，并指出了过去一年中发生的一些广为人知的事件——包括自杀和谋杀信中指出，其中暴力与人工智能的过度使用有关。在许多此类事件中，GenAI 产品产生了阿谀奉承和妄想的输出，这些输出要么鼓励用户妄想，要么向用户保证他们没有妄想。
AG 还建议公司像科技公司处理网络安全事件一样对待心理健康事件，并制定清晰透明的事件报告政策和程序。
信中指出，公司应制定并发布“对阿谀奉承和妄想输出的检测和响应时间表”。信中称，与目前处理数据泄露的方式类似，公司也应该“及时、明确、直接地通知用户，如果他们接触到潜在有害的阿谀奉承或妄想输出”。
Techcrunch 活动
旧金山 | 2026年10月13-15日
另一个要求是，公司对 GenAI 模型进行“合理且适当的安全测试”，以“确保模型不会产生潜在有害的阿谀奉承和妄想输出。”它补充说，这些测试应该在模型向公众提供之前进行。
在发布之前，TechCrunch 无法联系谷歌、微软或 OpenAI 征求评论。如果公司做出回应，本文将进行更新。
开发人工智能的科技公司在联邦层面受到了更为热烈的欢迎。
特朗普政府已经明确表示毫不掩饰地支持人工智能，并且在过去的一年里，多次尝试已在全国范围内暂停国家级人工智能法规。到目前为止，这些尝试都失败了——部分原因在于来自国家官员的压力。
不被吓倒，特朗普宣布周一，他计划下周通过一项行政命令，限制各州监管人工智能的能力。总统在一份声明中表示帖子在 Truth Social 上，他希望他的 EO 能够阻止人工智能“在婴儿期就被摧毁”。
关于《州总检察长警告微软、OpenAI、谷歌和其他人工智能巨头修复“妄想”输出 |TechCrunch》的评论
暂无评论