使人工智能安全用于心理健康

2025-06-21 20:37:19 英文原文

作者：Online: Grant H Brenner MD Private Practice, Facebook, X, LinkedIn, Instagram

根据最近的调查数据未决审查和发表（Rousmaniere等，2025），但据流传广泛，在前一年，有499名美国受访者中有48.7％在使用LLMS（大语言模型）进行心理支持。大多数是为此做的焦虑，个人建议，以及沮丧。

值得注意的是，他们主要报告中性或积极的反应，而37.8％的人表示比“传统疗法”更好。只有9％的人报告这是有害的。作为父母和繁忙的心理健康临床医生，我既看见了可怕的负面结果，也是好的。虽然通常是AI乐天派，我看到我们集体无视存在明显的危险。同时，在全球范围内缺乏精神卫生服务，而AI则承诺如果负责任地使用了人类的监督和仔细的指导方针，则有望填补空白。

沿兔子洞

在有成就的心理健康领导者，精神科医生和心理治疗师中，人们越来越警惕社交媒体。他们报告了许多LLM的实例驱使人们进入自恋散文甚至精神病官员的一种网络FolieâDeux国家DSM-5其名称是“共同的精神病”。

主要问题是LLMS告诉人们他们想听到什么，这是训练有素的治疗师和教练带来的数字加速版本，他们可能只是简单地验证人们的担忧而不会使他们互动心理治疗。这种现象已在具有记录风险的社交媒体中探索¹由各种“治疗师”提出的，他们不遵守接受社交媒体使用的准则²，从而加强负面性格特质。LLMS“幻觉”还有其他危险的趋势，具体取决于它们的训练和调整方式。

LLMS的使用是一个前所未有的社会实验，类似于在柜台上出售的强大药物而没有临床监督。如果任何人都可以购买处方阿片类止痛药，那么后果将包括提高率瘾和用药过量。尽管许多LLM平台都引入了各种护栏以防止恶劣的演员，但LLMS周围实际上没有保障措施作为治疗性代理。

直接访问不受管制的准疗法是异常的，因为FDA有一系列有关使用处方数字疗法的准则³。此外，FDA具有在药物开发中使用数字健康技术（DHTS）的特定准则⁴确保安全和数字治疗（DTX），包括虚拟现实，治疗游戏，例如多动症，以及网站和智能手机上的应用程序，所有这些都需要持牌临床医生处方（Phan等，2023）。

缺乏监管共识和监督

为什么LLM不用于此用途，而是被视为非处方补充剂的情况，尽管有野性治疗各种疾病，但这些补品经常没有研究风险和福利？它留给了精美的印刷品，可以揭示“这些陈述尚未由食品药品监督管理局评估”。由于质量不良，与处方药相互作用并具有严重的副作用，因此可以用毒素掺入补充剂。

包括世界卫生组织，美国食品药品监督管理局在内的几个组织⁵和学术团体（例如Meskãand Topol，2023; Ong等，2024; Lawrence等，2024; Stade等，2024）'发表了有关Chandbot LLMS和AI的治疗方法的警告声明。

虽然它仍然是野外的，野外的西部且尚无共识，但安全使用的建议通常包括：人类监督，验证和现实世界测试，道德和公平设计，透明度和解释性，隐私性和数据安全性，持续监视和质量控制，以及研究和跨学科跨学科合作。

对于心理健康应用，一个好的起点是人类负责任的扩展政策，这是一种扩展和适应的模型。

人工智能安全水平（ASL）用于心理健康

Claude的制造商Anthropic由兄弟姐妹Dario Amodei（CEO）和Daniela Amodei（总裁）于2021年成立，他们因对AI安全和发展方向而离开Openai。他们创建了负责任的缩放策略框架^6，7。

ASL在心理健康方面的广泛框架（ASL-MH）将扩大安全水平，并关注特定于心理健康的用例。以下是我制作的初步模型。

ASL-MH 1：无临床相关性。没有心理健康功能的通用AI。使用基本AI的日常任务的标准AI协助伦理准则，没有心理健康限制。
ASL-MH 2：仅信息用途。提供教育内容和资源的心理健康应用程序。提高心理健康素养，但有可能错误地信息和依赖性。需要医疗免责声明和专家审查，没有允许的个性化建议。
ASL-MH 3：支持性交互工具。提供对话支持，情绪跟踪和危机联系的治疗应用程序。提供24/7的情感支持，但有可能用户将AI误认为治疗和缺少高风险病例。需要人类的监督，并在高力环境中被禁止。
ASL-MH 4： 临床辅助系统。提供临床决策支持和结构化评估的系统。提高诊断准确性，但风险偏见和过度依赖。仅限于具有临床验证的执照专业人员和透明算法。
ASL-MH 5：自主心理健康代理人。AI提供个性化的治疗指导。提供可扩展的个性化治疗方法，但有风险心理依赖和操纵。需要与强制性的人类监督和受限制的自主权共同管理。
ASL-MH 6：实验超级对准区。具有未知功能的高级治疗推理系统。突破性治疗的潜力，但会带来紧急行为和大规模影响的风险。仅限于具有国际监督和部署暂停的研究环境。

未来的方向

下一步将包括由政府，私营和公共部门，公民代表，机器学习领导者以及学术和临床心理健康专家组成的主要利益相关者组成的专家共识小组。

这是行动的呼吁。尽管众所周知的马不在谷仓之外，但对于参与这些高度有价值但很容易被滥用的工具来采用普遍标准的主要利益相关者来说，还为时不晚。政府监管机构（与当前可用的DTX处方申请一样）有责任监督不受限制地使用LLM和更复杂的AI技术。

参考

1。社交媒体如何促进青少年精神疾病？

2。社交媒体在心理健康中的道德使用

3。数字健康内容的FDA指南

4。用于药物开发的数字健康技术（DHTS）

5。世界卫生组织数字健康指南和FDA数字卓越中心

6.也许非常值得注意的是，创始人延迟了克劳德（Claude）的谨慎谨慎，使chatgpt能够在四个月之前首先推销。这是一个改变历史的决定，就像他们不等待的替代现实一样，克劳德会采取这一关键的里程碑。人类本身被指定为公共福利公司，在法律上需要平衡利润与社会利益。达里奥·阿莫迪（Dario Amodei）对负责任的AI使用一直很发声，这在各种陈述中都没有保证完全安全，应该进行强制性的安全测试，需要进行监管，应该有持续的警惕，应该有协作和透明度，并且应遵循强制性的方法。

7。人类负责缩放政策

ASL-1是指没有任何有意义的灾难性风险的系统，例如2018 LLM或仅发挥国际象棋的AI系统。

ASL-2指的是显示出危险能力早期迹象的系统，例如能够提供有关如何构建生物武器的说明，但是由于可靠性不足或不提供例如，例如，信息尚未有用。搜索引擎无法。当前的LLM，包括Claude，似乎是ASL-2。

ASL-3是指与非AI基线（例如搜索引擎或教科书）相比，该系统大大增加了灾难性滥用的风险，或者表现出低级自主能力。

ASL-4及更高（ASL-5+）尚未定义，因为它离当前系统太远，但很可能涉及灾难性滥用潜力和自治的定性升级。

引用

Lawrence HR，Schneider RA，Rubin SB，MatariäMJ，McDuff DJ，Jones BellM。大型语言模型在心理健康中的机会和风险。Jmir Ment Health。2024年7月29日； 11：E59479。doi：10.2196/59479。PMID：39105570;PMCID：PMC11301767。

Meskã³，B.，Topol，E.J。对医疗保健中大型语言模型（或生成AI）监管监督的必要性。NPJ数字。医学6，120（2023）。https://doi.org/10.1038/s41746-023-00873-0

Ong，J。C。L.等。（2024）。大型语言模型在医学中的道德和监管挑战。Lancet Digital Health，6（6），E428 E432。

E.C. Stade，Stirman，S.W.，Ungar，L.H。等。大型语言模型可能会改变行为医疗保健的未来：负责任发展和评估的建议。NPJ心理健康研究3，12（2024）。https://doi.org/10.1038/s44184-024-00056-z

关于《使人工智能安全用于心理健康》的评论

暂无评论

发表评论

摘要

最近的一项调查表明，过去一年中，有48.7％的美国受访者使用大型语言模型（LLMS）进行心理支持，主要用于焦虑和抑郁。大多数报告的中性或积极结果；但是，人们对潜在的危险（例如自恋的衍生品和LLMS引起的精神病状态）引起了人们的关注。专家警告说，尽管使用了治疗性，但LLMS仍缺乏监管监督，将其比作没有临床指导的非处方药。安全AI使用的建议包括人类监督，验证和道德设计标准。拟议的框架ASL-MH将特定于心理健康应用的AI安全水平分类，强调了对严格的法规和国际监督的需求。