为了遏制在线性虐待儿童的性虐待，专家寻找AI

曼达·托德（Manda Todd）今年15岁，2012年9月她上传将近九分钟的视频到YouTube，详细介绍了几年的网络欺凌，骚扰和勒索。托德说，虐待使她受到创伤和沮丧。结果，她用毒品和酒精转向自我治疗，最终自我伤害和切割。

不列颠哥伦比亚省高中的学生自杀了一个月后。

托德的骚扰后来确定作为Aydin Coban，她的年龄是荷兰国民的两倍以上。柯班（Coban）在在线聊天室中遇到了托德（Todd），施加压力，托德（Todd）展示了她的乳房，然后开始了一场无情的三年在线骚扰运动。他透露了她的身份，根据新闻报道，将照片发送给了许多同学和朋友。2022年，柯班（Coban）因类似的指控而被判处荷兰监狱，被判处勒索和骚扰托德（Todd）的额外时间。

网络安全分析师帕特里克·布尔斯（Patrick Bours）在托德（Todd）去世几年后开始研究此案。他的孩子当时已经12岁和13岁，与托德（Todd）的年龄大约是她开始被网络欺凌的年龄。

布尔斯说：`我的儿子在与他的朋友和陌生人的在线游戏中玩了很多东西。”布尔斯说，知道这发生在同一年龄段的一个女孩身上，这个故事扎在他身上。

挪威科学技术大学信息安全教授布尔斯（Bours）有兴趣将他的网络安全和加密技能应用于预科和青少年的更大在线安全问题。

如果我们能够监视对话并告诉阿曼达可能是捕食者，那可能会发生什么，布尔斯回忆起问他的一位研究生。

他说，也许什么都没有，或者也许她会停止聊天。

网络安全研究人员认为，他们可以通过人工智能来回答这些问题中的一些，并帮助使儿童和青少年更安全。

例如，Bours和他的同事开发了数字节制 工具研究人员说，以托德（Todd）的名字命名为托德（Todd），可以准确地检测到掠夺性聊天室对话，平均在2019年首次测试该工具时发出了40条消息。准确性尚未得到独立验证。

这是停止某事和必须到您家门口的警察之间的区别，很抱歉，您的孩子被虐待了，”布尔斯说，他以前曾是荷兰国家传播安全局的加密摄影师。

丹麦游戏开发人员已经使用了该应用程序，称为MoviestArplanet。

通过培训算法来识别虐待的在线对话，例如托德每年经历的那种对话和数百万年轻人，希望年轻人能够更好地保护捕食者。（Bours没有通知Todd家族有关Amanda工具的通知；托德的母亲在Undark联系之前才知道该工具。）

对于人工智能来说，这是一个新的令人兴奋的边界。宾夕法尼亚大学的技术专家Desmond Upton Patton说，这有可能帮助我们思考哪些积极用例，他的工作着重于社会工作，数据科学和道德人工智能的交汇处。

但是包括帕顿在内的专家引用了人们对隐私，透明度和包容性的关注。帕顿说，他希望开发人员在此过程中包括年轻人，因为我们还需要了解他们的隐私问题以及他们对这种类型工具的挑战和关注。

Patton补充说，我们需要确保父母意识到并了解这些工具的工作原理。

总部位于伦敦的网络安全研究人员Manja Nikolovska回应了此类担忧。她在一封电子邮件中写道，应对这些挑战将需要一种周到的方法，其中包括善解人意地解决许多用户对AI解决方案的保留，尤其是关于他们对保护儿童的隐私，安全和道德使用的影响。

t他在线对儿童和青少年的性虐待是严肃的 忧虑在执法部门中，儿童福利倡导者和政府官员大约世界。威胁经过跨学科的广泛研究，儿童心理学和公共卫生进入计算机科学和网络安全。

根据2024年报告在爱丁堡大学的研究人员中，当前的儿童性虐待材料规模是巨大的，应该像全球大流行病一样对待。他们估计，同期在同一时期，八分之一的儿童在上一年在线上经历了在线性虐待和3亿个儿童的性诱因，而3亿儿童受到了在线性虐待和剥削的影响。

其他研究也发现了类似的数字：民意调查例如，在2021年，在美国有2,600多名年轻人进行了大约16％的追溯报告，报告在网上被滥用为未成年人。

据报道，当成年人建立信任并与未成年人或年轻人在线建立情感联系时，据报道，据报道也有所增加。联邦调查局（FBI）指出，这些掠食者通常会像儿童或青少年一样摆姿势。

但是专家们说，网络室被研究了研究，这使得开发有效的干预措施变得更加困难。在文学评论中，尼克洛夫斯卡（Nikolovska）也是伦敦大学学院未来犯罪中心的研究员，他在涉及网络间室的时候确定了135篇发表的论文。

尼克洛夫斯卡在伦敦的Zoom电话中说，主要的研究差距之一是缺乏网络特定研究。

她说，许多研究人员和执法机构试图将有关物理世界捕食者的现有知识转移到在线空间，例如游戏或社交媒体，但在线行为看起来有很大不同。例如，在线掠食者可以掩饰其身份，例如，创建私人聊天室以进行消息传递。他们还可以更容易地进行对话：一个12岁的孩子可能知道避免与街上的一个随机陌生人说话，但更有可能在线回复一条消息。

鉴于此访问，网络室可能会在时间较短的时间窗口中瞄准更多的受害者。尼古洛夫斯卡（Nikolovska）发现，对于一个芬兰在线捕食者而言，捕食者平均只花了三天时间与孩子联系，建立信任并要求进行照片或会议。该数据集受到限制，并且仅针对一个针对14名女性受害者的捕食者。她说，但是鉴于这个时间表，制定可以迅速识别和防止网络犯罪的数字干预措施至关重要。

如果某人可能歪曲年龄或性别，则可能实时提醒聊天室用户的一种潜在途径击键动力学，其中分析了键入模式，包括速度，击键之间的间隔，以及该人使用某些键的频率，例如caps锁定。

挪威的研究人员，尼日利亚，，，，英国以及近年来，其他地方围绕击键动态，人工智能以及年龄和性别检测的论文发表了不同程度的成功。

以及包括芬兰和挪威在内的几个北欧国家都有优先 发展人工智能对社会善。Nikolovska说，这可能是这些政府围绕在线儿童性虐待资助网络安全和计算机科学研究的原因。

例如，网络安全分析师OliverTverrã¥是在挪威生物识别实验室以Bours学习的100多名研究生之一。tverré¥s 2023论文研究了变量如何钥匙按持续时间，打字准确性和速度可以实时预测作者的年龄和性别。通常，发送的消息数越大，确定年龄和性别的准确性越高。

但是实验遇到了一个主要挑战：要确定以87.5％精度的使者的性别，该模型需要超过1,600键。那可能是数百个单词。

他们在挪威的Zoom采访中说，他们测试的算法还不够强大。他补充说，研究人员需要更多的时间和更大的数据集来开发更准确的模型。使用的数据集Tverrã¥限制为56人。

他补充说，如果用户认为系统可以比实际识别捕食者更有效地识别捕食者，这可能会导致他们信任他们不应该信任的人。”

t他阿曼达Bours开发的数字审核工具使用不同类型的人工智能来检测掠食者：自然语言处理，该工具分析单词和句子以了解发送消息的人的意图。

一个目标是确定针对阿曼达·托德（Amanda Todd）的网络室类型。但是，开发人员说，可以量身定制AI来检测广泛的掠食性或危险行为，例如欺凌，骚扰，激进化甚至自我伤害。

目前，Amanda工具需要客户或社交媒体应用等客户来注册其服务。用户将应用程序访问其帖子和直接消息作为客户服务条款的一部分。布尔斯说，安装后，该工具不断分析用户帖子和消息，然后分配风险分数。分数较高的帖子和消息可能需要由人类主持人进行审查。该工具还会进行编程以更新风险分数，每次有新消息。

请说，这次对话的风险是七个。”布尔斯说。•如果我们评估一个风险的信息，那么您是一个人，亲爱的吗？

当风险分数达到一定的阈值时，系统将自动删除消息，转发分数并标记对客户的数字审核团队的任何潜在违规行为。

人类主持人会看对话，并可以说，这只是两个成年人之间的正常对话，”布尔斯说。或者，如果正在进行整理对话，主持人可以采取行动。他补充说，捕食者可以从平台上阻止或删除。

他补充说，如果情况非常严重，那么客户可以与当局接触。

该算法最初是在归档的数据集中培训的，该数据集在性犯罪者和小时候摆姿势的人之间有数百万个信息。后来，开发人员使用客户数据扩展了培训集。研究人员解释说，对机器学习模型进行了培训，以识别风险的信息和修饰对话。最终数据集包括来自包括数百名掠食者在内的约50,000名作者的大约28,000次对话。

Bours和他的同事在2022年创建了一个名为AIBA的衍生产品，以推销Amanda工具和其他AI信托和安全产品。在2023年，开发人员签名他们与执法部门的第一个同意。挪威东部的Innlandet警察区的理解使开发商能够在调查和起诉的捕食者的聊天日志上训练其系统。

人工智能模型和算法仅与受过培训的数据集一样好。Nikolovska在一封电子邮件中写道，研究自动捕食者检测的主要缺陷之一是，大多数模型都使用并非源于网络修饰的实际情况。

不参与研究的尼克洛夫斯卡说，阿曼达申请似乎是一个令人难以置信的进步。

她说，在单词提示上训练的算法是检测美容的重要工具，但警告说，掠食者可能会变得更加复杂。她说，潜力很大。但是，由于这些算法主要依赖于诸如性词或操纵性单词之类的明确单词，因此罪犯可以适应并降低他们的语言来避免被发现。

Nikolovska还担心Amanda和其他自动化捕食者检测模型中的透明度和隐私。她说，该系统应解释为什么特定的聊天对话将特定的聊天对话标记为掠夺性或不介绍性，以便用户准确地了解触发系统的原因。

Nikolovska说，还应该有关于应收集哪些个人数据，应如何存储该数据以及是否可以与当局共享的保障措施。布尔斯说，阿曼达AI不会直接存储消息或对话。该数据由客户公司存储。

Bours说，就Amanda工具而言，没有与父母或第三方共享任何信息。

宾夕法尼亚大学技术专家帕顿（Patton）对挪威聊天适度应用程序也谨慎乐观。巴顿说，研究和发展很重要，似乎是对人工智能的负责任，他没有从事该项目，并且已经开发了多种AI模型，以将处于危险的青年与行为健康和创伤干预联系起来。

例如，在2018年，帕顿（Patton开创性的AI模型搜索了Twitter时间表确认芝加哥地区青年的悲伤和愤怒。

他说，这是整合各种观点的关键，因为这些算法不应仅由AI工程师创建。

Patton告诉Undark，Amanda工具和类似的系统应包括来自年轻人的意见以及精神病医生，社会工作者和心理学家等心理健康从业人员的意见。我希望首先在更模拟的环境中看到其中的一些工作。我们不是豚鼠 - 我们是真实的感情和真实情感的真实人。

one这样的例子模拟环境：开发聊天机器人以模仿与在线掠食者的互动。

计算机科学研究人员位于美国的几所大学，包括加利福尼亚大学戴维斯分校；弗吉尼亚理工学院；范德比尔特大学（Vanderbilt University）正在为儿童和青少年开发教育聊天机器人。聊天机器人将教学生如何识别和回应在线掠食者。

UC Davis的计算机科学家Lifu Huang说，目前围绕在线捕食者的许多AI研究旨在根据对话来检测网络室。他说，这些模型很有帮助，但没有教育青年如何识别和应对在线掠食者，并补充说，模拟这种对话可能会更强大。

黄是一个研究团队这是2024年获得三年的国家科学基金会赠款，以为青少年创建一个教育聊天机器人。该研究利用自然语言处理和大型语言模型，例如流行chatgpt``开发类似人类的聊天机器人，可以模拟掠食者与青年之间的对话。目的是将聊天机器人用于学校，教室和非营利组织的教育。

Huang和他的同事（包括计算机科学家Jin-hee Cho在弗吉尼亚理工学院）开发了一个工作模型该平台包括两个类似人类的聊天机器人 - 一个模仿在线肇事者，第二个模仿年轻受害者。

该项目引起了极大的兴趣，因为这将是第一个教青少年如何对网络室反应的教育聊天机器人。

但是有一些局限性。例如，对肇事者聊天机器人进行培训的修饰对话的档案已有10多年的历史。黄说，这可能意味着聊天机器人不会认识到最近的语言。为了解决这个问题，团队正在与其他研究人员合作进行基于人类的研究，以产生更多最新的培训数据。研究人员 希望在今年夏天捕获更高质量的培训数据。

黄说，在开发旨在针对双胞胎和青少年的聊天机器人时，隐私是一个主要问题。因此，研究团队正在使用公开可用的数据集，并避免了像Openai这样的在线资源，Huang解释说。在角色扮演时，Seri聊天机器人也无法收集或存储任何信息或数据。t

他潜力开发人工智能以解决，检测或预防在线掠食者可能是遏制严重社会问题的主要进步。Patton说，这是AI的激动人心的边界。但是，我们必须以周到的方式对待这一点，优先考虑道德，包容性和协作。”

他补充说，如果做得好，我认为这项工作不仅可以保护年轻人，而且有可能建立对数字平台的信任，我们迫切需要。”

尽管如此，仍然存在一些挑战。网络安全研究员Manja Nikolovska说，首先，Amanda等数字审核工具的成功取决于广泛的采用。目前尚不清楚将有多少游戏和社交媒体平台注册以将技术集成到他们的消息传递和论坛应用程序中。Amanda App客户包括MoviestArplanet，这是一款针对儿童和青少年的丹麦社交和在线游戏，计算1000万个活跃的每月用户。

Nikolovska在一封电子邮件中说，同样，应该进行更多的学术研究。``在这一领域的成功还取决于探索儿童的反应：他们是否找到了绕过此类系统控制的方法，以及初次采用后是否存在“停机期（停用使用）”。

联邦调查局相信每天都有超过500,000个在线捕食者活动，每个捕食者都有多个在线资料。警方和执法部门表示，他们无法阻止大多数掠食者与儿童进行在线联系，这将需要社交媒体和游戏平台，父母，孩子，技术开发商，倡导团体等进行多项努力。

最近几个月，人们对社交媒体巨头在网上虐待青年中的作用引起了人们的兴趣。例如提起9月对拥有Snapchat拥有Snapchat的公司的诉讼，该公司声称该申请无济于事，无法遏制修饰，性骚扰和分解`当某人从一个人那里获取性明确的图像时，然后将该材料用作勒索或更多图像。

去年10月，托德（Todd）的家人加入了其他10个家庭诉讼反对Snapchat，Meta和其他科技公司，指控这些公司优先考虑与儿童安全相比。

Bours是推出Amanda工具的网络安全分析师和密码师，希望内容审核，击键分析和类似技术能够解决其中许多情况。而且，可能会防止更多的青少年遭受与托德相同的折磨。

Bours没有计划停止研究。这是我在剩余的学术生涯中要做的事情。

麦卡洛姆（McCullom）从挪威和伊利诺伊州芝加哥的特隆海姆（Trondheim）报道了这个故事。

如果您或您认识的人需要帮助，则可以通过致电或发短信988来获得美国的自杀和危机生命线。在988lifeline.org上也有一个在线聊天。