想象一下，浏览社交媒体或玩在线游戏，却被侮辱性和骚扰性评论打断。如果人工智能 (AI) 工具在您看到滥用行为之前就介入消除它会怎样？
这不是科幻小说。ToxMod 和 Bodyguard.ai 等商业人工智能工具已用于实时监控社交媒体和游戏平台上的交互。它们可以检测并响应有毒行为。
全视人工智能监控我们的一举一动的想法可能听起来像奥威尔式的，但这些工具可能是让互联网变得更安全的关键。
然而，人工智能审核要取得成功，就需要优先考虑隐私、透明度、可解释性和公平性等价值观。那么我们能否确保人工智能可以让我们的在线空间变得更好呢？我们最近关于人工智能驱动的审核的两个研究项目表明，我们可以通过更多的工作来完成这一任务。
网络毒性是一个日益严重的问题。近一半的澳大利亚年轻人经历过某种形式的负面在线互动，其中近五分之一的人经历过网络欺凌。
无论是单一的攻击性评论还是持续的一系列骚扰，这种有害的互动都是日常生活的一部分对于许多互联网用户来说。
网络毒性的严重性是澳大利亚政府提议禁止 14 岁以下儿童使用社交媒体的原因之一。
但这种方法未能完全解决一个核心问题问题：在线平台和审核工具的设计。我们需要重新思考在线平台的设计方式，以最大程度地减少对所有用户（而不仅仅是儿童）的有害互动。
不幸的是，许多掌控我们在线活动的科技巨头却迟迟没有承担更多责任，从而留下了重大损失。审核和安全措施方面存在差距。
这就是主动人工智能审核提供了创建更安全、更受尊重的在线空间的机会。但人工智能真的能兑现这一承诺吗？这就是我们的发现。
在我们的游戏和人工智能审核 (GAIM) 项目中，我们着手了解人工智能驱动的道德机会和陷阱在线多人游戏的审核。我们对玩家和行业专业人士进行了 26 次深度访谈，了解他们如何在这些领域使用和思考人工智能。
受访者认为人工智能是让游戏更安全并对抗游戏造成的破坏的必要工具。毒性。拥有数百万玩家，人类版主无法捕捉到所有内容。但是，不知疲倦且积极主动的人工智能可以拾取人类错过的信息，帮助减轻与审核有毒信息相关的压力和倦怠。
但许多玩家也对人工智能审核的使用表示困惑。他们不明白为什么自己会受到帐户暂停、禁令和其他惩罚，并且常常因自己对不良行为的报告似乎消失得无影无踪而感到沮丧，没有得到答复。
参与者尤其担心隐私问题使用人工智能来调节游戏中语音聊天的情况。一名玩家惊呼：天哪，这合法吗？这种情况已经发生在《使命召唤》等热门在线游戏中。
我们的研究表明，人工智能调节具有巨大的积极潜力。然而，游戏和社交媒体公司需要做更多的工作来使这些系统变得透明、授权和值得信赖。
目前，人工智能审核的运作方式就像不透明司法中的警察一样系统。如果人工智能以教师、监护人或正直者的形式来教育、授权或支持用户，结果会怎样？
这就是我们的第二个项目 AI Ally 的用武之地，由电子安全专员资助的一项举措。为了应对澳大利亚基于技术的性别暴力发生率较高的情况，我们正在共同设计一款人工智能工具，以支持女孩、妇女和性别多元化的个人在更安全的在线空间中导航。
我们对来自澳大利亚的 230 人进行了调查。我们发现，44% 的受访者经常或总是在至少一个社交媒体平台上经历过性别骚扰。这种情况最常发生在对日常在线活动的回应中，例如发布自己的照片，尤其是以性别歧视评论的形式。
有趣的是，我们的受访者表示，当他们想要支持时，记录在线虐待实例特别有用其他骚扰目标，例如收集辱骂性评论的屏幕截图。但只有少数受访者在实践中做到了这一点。可以理解的是，许多人也担心自己的安全，如果他们通过为某人辩护甚至在公共评论帖子中发言来进行干预。
这些都是令人担忧的发现。作为回应，我们正在将人工智能工具设计为一个可选的仪表板，用于检测和记录有毒评论。为了帮助指导我们的设计过程，受调查受访者的启发，我们创建了一组角色来捕获一些目标用户。
我们允许用户自行决定是否过滤、以符合他们自己喜好和个人安全的有效方式标记、阻止或报告骚扰。
通过这种方式，我们希望利用人工智能为年轻人提供易于获取的支持，帮助他们管理在线安全，同时提供自主权和赋权感。
AI Ally 表明我们可以使用人工智能来帮助使在线空间更安全，而不必牺牲透明度和用户等价值观控制。但还有很多工作要做。
其他类似的举措包括 Harassment Manager（旨在识别和记录 Twitter（现在的 X）上的滥用行为）和 HeartMob（一个社区，在线骚扰的目标可以在其中找到）寻求支持。
在道德人工智能实践得到更广泛采用之前，用户必须随时了解情况。在加入平台之前，请检查他们的政策是否透明，并为用户提供对审核设置的控制。
互联网将我们与资源、工作、娱乐和社区连接起来。每个人都有权获得这些福利，而不受骚扰和虐待。我们所有人都有责任积极主动地倡导更智能、更道德的技术，以保护我们的价值观和数字空间。
AI Ally 团队由 Mahli-Ann Butt 博士、Lucy Sparrow 博士、爱德华多·奥利维拉、伦·戈尔韦、达丽娅·约维奇、塞布尔·王-威尔斯、宋一戈和麦迪·威克斯。