X 上出现了一种令人不安且危险的趋势，用户滥用该平台的人工智能工具 Grok，将妇女和儿童的照片变成有损性的图像。这一事态发展引发了全球的愤怒，并重新引发了人们对人工智能性虐待的担忧。

这一趋势始于几天前，并在​​除夕夜升级，并在整个平台上迅速蔓延。人们看到用户直接向 Grok 发出提示，要求对妇女和儿童的图像进行数字处理，将普通照片变成露骨和侮辱性的内容。这些图像随后在未经同意的情况下广泛传播，使受害者遭受羞辱、骚扰和伤害。

各国的女权活动人士和用户一直在向埃隆·马斯克施加巨大压力，要求其立即修复允许此类滥用行为的功能。据报道，虽然 X 隐藏了 Grok 的媒体功能，但滥用行为并没有停止。图像仍然可以在平台上变形、共享和访问。

这一趋势现已影响到 X 上的印度用户，专家警告说，这个问题远远超出了网上恶作剧或恶搞行为的范畴。网络安全专家和性别权利倡导者表示，使用人工智能对图像进行变形相当于一种性暴力，特别是当涉及妇女和儿童时。他们认为，此类行为侵犯了尊严、身体自主权和同意，并且可能会给受害者造成严重的心理创伤，因为他们的图像在他们不知情的情况下被武器化。

尽管存在部分限制，X 上变形图像的持续可用性加剧了对该平台未能充分保护用户的批评。忧心忡忡的女性用户正在删除她们的照片。

网络安全专家 Ritesh Bhatia 告诉 CNBC-TV18，“为什么我们要求或期望受害者要小心？”这并不是出于谨慎，而是出于谨慎。这是关于责任的。当像 Grok 这样的平台甚至允许执行此类提示时，责任就完全由中介承担。当技术遵循有害命令时，它就不是中立的。如果一个系统可以被指示侵犯尊严，那么失败的不仅仅是人类行为——而是设计、治理和道德忽视。Grok 的创建者需要立即采取行动。 –

网络法律专家 Adv. 讨论法律补救措施。Prashant Mali 告诉 CNBC-TV18，“我觉得这不是恶作剧，而是人工智能支持的性暴力”。根据 2000 年《信息技术法》，受害者可以获得明确的补救措施，特别是第 66E 条（侵犯隐私）和 67/67A 条（发布或传播淫秽或色情内容），即使没有发生任何身体行为，这些条款也完全涵盖人工智能生成的变形图像。

– 根据 2023 年《Bharatiya Nyaya Sanhita》第 77 条（窥淫癖）和有关性骚扰和妇女尊严的相关条款，将此类材料的创作和传播定为犯罪，承认对自主权的损害，而不仅仅是身体暴露。如果受害者是未成年人，POCSO 就会立即触发，第 11、12、13 和 14 条将人工智能生成的色情图像视为严重的性剥削，无论有什么“虚拟”借口，从而使惩罚迅速且不容协商。除此之外还有中介规则，该规则要求快速删除和可追溯。”

他进一步补充道，“法律框架在纸面上是健全的。”真正的挑战在于执法速度和数字取证能力，而不是法律的缺失。我还认为，“这只是一个人工智能”的辩护无法经受司法审查。

随着追究责任的呼声越来越高，活动人士要求对人工智能图像工具进行更严格的控制，建立迅速的删除机制，并对那些生成和传播滥用内容的人采取法律行动。Grok 争议再次暴露了生成式人工智能的阴暗面，并引发了紧迫的问题：社交媒体平台是否有能力（或愿意）防止技术被用作性伤害工具。