“进化,而不是革命”:OpenAI 追踪诈骗者和国家行为者日益滥用人工智能的情况

2025-10-07 14:49:03 英文原文

作者:By: Maura Barrett

根据 OpenAI 周二发布的最新威胁报告,不良行为者越来越多地将人工智能融入到他们现有的业务中,虽然他们没有发明新花招,但该公司的调查人员发现他们的效率越来越高,将多种人工智能工具混合在一起来制定计划。

OpenAI 表示,自 2024 年初开始公开报告滥用行为以来,它已破坏了 40 多个违反其使用政策的恶意网络。周二的报告显示,许多人正在将 ChatGPT 与其他人工智能模型(例如 Anthropic 的 Claude 或 DeepSeek)一起使用,以简化网络攻击、网络钓鱼活动和诈骗消息传递,为不断发展的策略提供独特的窗口。

如果您错过了 |OpenAI 在 ChatGPT 上宣布针对处于危机中的青少年和用户的新安全措施

OpenAI 主要发现威胁行为者使用 ChatGPT 来改进其现有策略,而不是创建新策略。

– 这是完成相同旧工作的新工具。例如,您可以想象中国的秘密影响行动会生成社交媒体帖子,而不是手动编写它们。OpenAI 情报和调查团队首席研究员 Ben Nimmo 在报告发布前的电话会议中对记者表示:“或者是一个生成陌生电话短信的诈骗网络。”“一年前,我们将其描述为进化,而不是革命,这种评估仍然成立,但在人工智能世界中,进化进展得很快。”

该报告列出了 OpenAI 拦截的一些尝试,包括使用 ChatGPT 调整网络钓鱼自动化的中文账户,该自动化最终将在 DeepSeek 上运行,DeepSeek 是另一个中文账户集群,旨在探索针对台湾半导体行业、美国学术界和智库以及批评中国共产党的组织的恶意代码和自动化;似乎位于柬埔寨、缅甸和尼日利亚的诈骗活动利用该平台创建虚假投资网站并生成财务顾问的角色。

如果您错过了 |ChatGPT 的阴暗面:报告详细介绍了青少年寻求帮助时令人震惊的反应

“在我们破坏的每一个案例中,我们看到的是增量效率提升,而不是新功能,”OpenAI 威胁情报工程团队的负责人 Michael Flossman 告诉记者。– 当这些对手的交互进入明显恶意的领域时,我们发现我们的防护措施按预期发挥作用,而我们的模型拒绝响应。我认为这提醒人们,人工智能可以帮助边缘的不良行为者,即使它并没有给他们带来全新的东西。”

调查人员发现,一些运营商正在适应公共人工智能检测线索或污名,明确要求 ChatGPT 删除破折号,以消除内容是人工智能生成的线索。官员们还发现,法学硕士现在用于识别诈骗的频率是用于制造诈骗的三倍。

版权所有 2025 Scripps Media, Inc. 保留所有权利。该材料不得出版、广播、重写或重新分发。

关于《“进化,而不是革命”:OpenAI 追踪诈骗者和国家行为者日益滥用人工智能的情况》的评论


暂无评论

发表评论

摘要

OpenAI 的最新威胁报告显示,不良行为者正在将 ChatGPT 等人工智能工具与其他模型集成,以增强其现有的网络运营,而无需发明新策略。自 2024 年初以来,OpenAI 已破坏了 40 多个违反使用政策的恶意网络。该报告重点介绍了利用人工智能提高效率的网络钓鱼计划和诈骗操作案例,例如自动发送消息或生成虚假的财务顾问角色。虽然人工智能有助于这些参与者的边际改善,但报告强调,保障措施可以有效防止其系统内的有害相互作用。

相关讨论