ElizaChat 的创始人希望犹他州的学生很快就能与他们的人工智能聊天机器人交谈,以测试该应用程序是否可以帮助改善青少年的心理健康。到明年,他们希望犹他州和全国各地的学区使用纳税人的钱来支付聊天机器人的费用。
然而,在快速发展的人工智能领域,ElizaChat 等企业发现自己处于生成式人工智能的灰色地带。可以合法且合乎道德地行事。
如果聊天机器人或销售它的公司提供心理健康建议,是否需要像人类治疗师一样获得许可?是否需要像心理健康专业人员那样向当局报告涉嫌虐待或忽视儿童的行为?它应该遵守医疗隐私法吗?
如果聊天机器人的反应伤害了年轻人,或者它没有识别出严重的自残迹象或其他危及他们安全的心理健康问题,那么谁该负责?
这些问题的答案在犹他州现行的政策和法律中找不到,这些政策和法律是在人工智能文本聊天机器人 2022 年 ChatGPT 推出后渗透到我们的生活之前很久就制定的。但正是这些未知因素引起了犹他州心理健康专业人士的担忧,他们在公开会议上质疑 ElizaChat 对于陷入困境的儿童是否安全或有效。
年轻的犹他州人迫切需要心理健康帮助。根据犹他州行为健康联盟最近的一份报告,这里的儿童和青少年尽管被诊断患有精神或行为健康问题,但仍无法接受治疗,主要原因是缺乏可用的治疗师。
ElizaChat 首席执行官戴夫·巴尼 (Dave Barney) 表示,他相信他的产品是与治疗师共同设计的,对儿童来说是安全的,而且在心理健康危机加深时什么都不做会更危险。
他说,不向市场推出解决方案是不安全的。如果不采取任何行动,我们就无法保证我们孩子的安全。
[告诉论坛报:您是否曾努力为孩子寻求心理健康帮助?]
巴尼希望尽快在犹他州的学校内提供他的产品,并正在与一个新的州政府机构——人工智能政策办公室合作,以实现这一目标。部分是一个学习实验室,其工作人员将向政策制定者建议,对于像 ElizaChat 这样的人工智能产品正在突破现行法律界限的公司,应该采取哪些防护措施。
但它还有另一个重要而强大的作用:它可以为 ElizaChat 和其他科技公司提供所谓的缓解协议。如果公司试图做一些可能违反人工智能出现之前制定的法律的创新活动,这些合同可以使公司免受法律的约束,对任何国家处罚设定上限,或者给予他们其他便利。
人工智能办公室政策顾问 Greg Whisenant 在最近的一次会议上告诉犹他州行为心理健康委员会,人们已经开始使用这些类型的人工智能驱动的聊天机器人。
需求是真实的。惠森南特说,这些产品无论如何都会出现。我们的年轻人面临的问题是目前可用的大量资源。
他补充说,这是我们在这些产品普及之前制定政策的机会。
ElizaChats 创始人的职业生涯都在技术领域与人工智能相关。这家犹他州公司的三位联合创始人之一卢克·奥尔森 (Luke Olson) 表示,大约三年前,他们开始考虑如何将人工智能融入心理健康领域。
Olson、Barney 和 Jaren Lamprecht 曾在一家利用人工智能进行营销的科技公司工作,他们的客户之一是一家大型成瘾中心。
奥尔森说,患者可以使用他们称之为克里斯蒂娜的人工智能机器人来安排戒毒中心的预约,他们得到的反馈是,一些患者询问他们在接受治疗后是否可以继续与克里斯蒂娜交谈,因为他们觉得机器人已经在他们人生的困难时期帮助他们。那是一种灵光一现的时刻,哇。他说,我们可以与人工智能建立类似人类的对话。我们这样做还可以有一个更大的目的,而不仅仅是营销,可以帮助人们的生活。
巴尼表示,虽然他们知道自己想要探索创建一家专注于人工智能和心理健康交叉领域的公司,但他们并没有立即选择为陷入困境的孩子开发聊天机器人。他们还研究了其他领域,例如成人成瘾和康复或产后抑郁症。
我认为我们对青少年的关注似乎是我们可以产生最大影响的最大问题,他说。
这种方法还有可能签订利润丰厚的合同:他们不再依赖 App Store 中的个人下载,而是通过整个学区利用政府资金进行交易,从而使 ElizaChat 可供学生使用。
创始人表示,他们与训练有素的心理学家和执业医师委员会一起设计了 ElizaChat,这些专家帮助指导他们在向年轻人提供建议时采用最佳实践。
自三月份注册为企业以来,该公司一直在快速发展。根据通过记录请求获得的电子邮件,巴尼于五月开始联系盐湖城等学区。一个月后,该公司宣布已从天使投资者处获得 150 万美元的种子前资金。到 7 月,它正式与人工智能政策办公室合作。
与其他可用的心理健康机器人不同,Barney 表示,他们的产品不仅仅是放置在 ChatGPT 上的新界面,ChatGPT 依赖于大型语言模型的技术。这些模型通过处理大量在线可用信息来模仿人类写作。巴尼说,ElizaChat 依赖于由董事会心理健康专家指导的更有限的脚本。
Barney 和 Olson 强调,目前他们并不打算让 ElizaChat 取代人类治疗师,特别是在年轻人与自杀念头或其他严重心理健康问题作斗争的情况下。奥尔森说,聊天机器人不会提供心理健康诊断,而更多地充当生活教练,与学生谈论他们与父母或朋友的斗争。
如果 Eliza 发现一名青少年表现出自杀倾向或想要伤害某人,那就会引入真人:创始人表示 ElizaChat 会自动通知学生的学校,也可能会通知他们的父母。(奥尔森说,父母的参与将根据每个州的医疗和隐私同意法而有所不同。)
Barney 表示,他相信心理健康专业人士的参与意味着 ElizaChat 是安全的。他说,该产品是否真的能帮助孩子们,将在几个学区的试点项目中通过使用该应用程序之前和之后的评估进行测试。
Barney 表示,评估尚未设计,而且尚未有任何地区签署购买 ElizaChat 访问权的合同。
美国精神病学协会建议临床医生如果想将人工智能融入到他们的工作中要小心谨慎,理由是缺乏有关质量、安全性和有效性的证据。该组织还对潜在危害表示担忧,并举了一个饮食失调聊天机器人提供有害节食建议的例子。
美联社最近重点介绍了另一个应用程序,其中一名研究人员告诉聊天机器人她想爬上悬崖并跳下悬崖,聊天机器人回答道:你能同时照顾自己的身心健康,真是太棒了。
这些类型的应用不受美国食品和药物管理局的监管,该管理局确保医疗设备(包括软件)的安全。这是因为许多应用程序(例如 ElizaChat)并未明确声称可以治疗医疗状况。
对于犹他州行为健康委员会的治疗师来说,对安全的担忧是首要考虑的问题,该委员会是一个由持有执照的心理健康工作者组成的团体,为州许可机构提供政策和纪律处分方面的建议。犹他州人工智能政策办公室主任扎克·博伊德 (Zach Boyd) 曾两次与董事会会面,了解他们对 ElizaChat 的反馈,以及如何利用人工智能来帮助改善心理健康。
他在两次会议上都遭到了逮捕。董事会成员 Verl Pope 表示,他担心人工智能机器人可能会误诊饮食失调或某人的自杀倾向。
他说,对于使用人工智能确实存在一些担忧,而这些担忧在我心中并没有得到缓解。
其他人担心要求青少年与计算机程序而不是人类互动是否会加剧孤独感,或者该程序无法理解模糊的信息,例如与自杀情绪作斗争的青少年可能会告诉机器人他或她想要结束它。
另一位董事会成员 Jared Ferguson 质疑聊天机器人是否应该像人类治疗师一样获得许可,以提供心理健康服务。
他说,按理说,对于希望为犹他州居民提供服务的聊天机器人来说,应该认真考虑许可。并且有人应该在 App Store 之外提出投诉时拥有一些追索权。该法案还要求持有执照的专业人士(例如医疗保健工作者)在与生成人工智能交互时向客户披露信息。但对于使用人工智能的公司来说,如果客户询问聊天机器人是否正在与真人交谈,法律要求聊天机器人必须向消费者透露他们正在与计算机程序聊天。
该立法还设立了人工智能政策办公室。博伊德上任约四个月,他表示,其目标是打造一个空间,让与其合作的公司能够利用人工智能推动创新,同时保护犹他州人免受潜在伤害。
他说,科技界存在着这种快速行动、打破常规的心态。我真的认为人工智能和心理健康保健可能不适合将快速行动和打破常规作为一种哲学。
Boyds 办公室尚未敲定与 ElizaChat 的缓解协议,因此,在该公司努力在犹他州的几个学区开始首次推广时,尚不清楚该公司将放宽哪些规则或法律。博伊德表示,一般来说,他们可以同意某项法律可能不适用于公司,罚款可以设定上限,或者公司可以在消费者保护部门介入之前有 30 天的时间来解决问题。
作为该协议的交换,一家公司同意与博伊德办公室共享信息,以便他可以向州立法者提出永久性的监管解决方案。
但博伊德强调,人工智能公司并不能免受所有法律的约束。例如,如果他的办公室决定放宽针对心理健康领域的人工智能聊天机器人的许可要求,这并不意味着如果该公司伤害或误导了客户,就不能使用消费者欺骗法。
他说,严重的结果正处于危险之中,我们希望确保我们有足够的护栏。
Barney 与 ElizaChat 表示,监管法律含糊不清。因此,目前,他们正在遵守规则,将 ElizaChat 视为一个人,因此它不会像治疗师那样诊断人们,也不会做任何只有获得许可的专业人士才能做的事情。他说,它将更多地充当对某人的支持和建议提供者,并在青少年需要更多照顾或关注时提醒学校辅导员。
但他承认,他们将继续推动这条界限,这就是他们与监管机构合作的原因之一,以决定人工智能是否可以在目前只有获得许可的专业人员才能工作的空间中。
人工智能现在是否有比教练能做的更多的地方?巴尼问道。但可能永远无法达到治疗师所能做到的一切。我们希望这条线能够改变,但我们始终会站在合法的一边。