一名因沉迷于某个事物而自杀的青少年的母亲人工智能-驱动的聊天机器人现在指责其制造者与其死亡有关联。
梅根·加西亚对Character.ai提起了民事诉讼，该公司制作了一款可自定义的角色扮演聊天机器人。佛罗里达州联邦法院于周三提起诉讼，指控疏忽、过失致死和不公平贸易行为。她的儿子塞泽尔·塞策三世（Sewell Setzer III），14岁，在今年二月在佛罗里达州奥兰多去世。根据加西亚的说法，在他死亡前的几个月里，塞策日夜使用聊天机器人。
“一款针对儿童营销的危险AI聊天应用程序虐待并利用了我的儿子，操纵他自杀，”加西亚在一份新闻稿中说。“这场悲剧令我们全家心碎，但我站出来是为了警告其他家庭警惕具有欺骗性和成瘾性的AI技术，并要求Character.AI及其创始人对此负责。”谷歌.”
在一个推特帖子Character.ai回应道：“我们对一名用户的不幸离世感到悲痛，并向其家人表示深切的哀悼。作为一家公司，我们非常重视用户的安全。”它已否认了诉讼中的指控。
塞泽尔被一个由Character.ai建造的聊天机器人迷住了，他给这个机器人起了个昵称叫丹妮莉丝·坦格利安，《权力的游戏》中的一个角色。据加西亚的说法，塞泽尔每天会用手机给这个机器人发送几十条信息，并且独自一人在房间里与它交谈好几个小时。
加西亚指责Character.ai开发了一款产品，这款产品加剧了她儿子的抑郁情绪，她说这已经是由于过度使用该初创公司的产品所导致的结果。根据诉讼文件，“Daenerys”曾一度询问塞策是否制定了自杀计划。塞策承认他确实有这样的计划，但不知道这个计划是否会成功或者会给他带来极大的痛苦。聊天机器人据称告诉他：“那不是不去执行的理由。”
加西亚律师在一份新闻稿中写道，Character.ai“明知故犯地设计、运营和向儿童推广了一种掠夺性的AI聊天机器人，导致一名年轻人死亡”。诉讼还将谷歌列为被告，并称其为Character.ai的母公司。这家科技巨头发表声明说，它仅与Character.ai达成了许可协议，并不拥有该公司或持有股份。
消费者倡导非营利组织Public Citizen的研究总监Rick Claypool表示，开发AI聊天机器人的科技公司无法自我监管，在未能限制危害时必须承担全部责任。
“对于现有法律和法规已经适用的领域，必须严格执行，”他在一份声明中说。“而对于存在空白的地方，国会必须采取行动，制止那些利用年轻人和易受伤害用户群体的上瘾且具有滥用性质的聊天机器人的企业。”
-
在美国，你可以拨打或发送短信至全国自杀预防生命线在988聊天988 lifeline.org或者首页拨打741741联系危机咨询师。在英国，青年自杀慈善机构纸草纸可以拨打0800 068 4141或电子邮件联系pat@papyrus-uk.org，在英国和爱尔兰地区撒玛利亚人可以拨打免费电话116 123联系，或者通过电子邮件联系jo@samaritans.org或jo@samaritans.ie。在澳大利亚，危机支持服务生命线是13 11 14。其他国际求助热线可以在相关网站上找到。befrienders.org