从攻击者的角度来看AI：了解网络犯罪分子如何利用AI及其漏洞来损害系统、用户甚至其他AI应用程序。
网络犯罪分子与人工智能：现实与炒作的区别
艾泰·莫尔（Etay Maor），首席安全战略家表示：“在未来一段时间内，人工智能不会取代人类。但是那些懂得如何使用人工智能的人将取代那些不懂得如何使用它的人。”Catosecurity（注意：Cato Networks是一家提供SD-WAN和安全服务的公司，但是直接翻译其名称可能没有通用的理解，通常会使用公司的官方中文名或音译名，在这种情况下，“Catosecurity”是一种尝试性的表达方式。如果该公司有正式推荐的中文名称，请使用官方名称。如果没有明确信息，则给出此提示性翻译。）原文要求只输出翻译结果或者原文，因此根据规则直接输出： Cato Networks和创始人之一的卡托 控制键同样，攻击者也转向利用人工智能来增强自己的能力。
然而，关于人工智能在网络安全犯罪中的作用更多的是炒作而非现实。新闻标题经常夸大人工智能威胁，使用诸如“混沌-GPT”和“黑帽人工智能工具”这样的术语，甚至声称它们旨在摧毁人类。然而，这些文章更多的是引发恐惧而不是描述真正的严重威胁。
例如，在地下论坛上进行探索时，发现所谓的“AI网络工具”中有一些只不过是重新包装的基本公共大语言模型，没有任何高级功能。事实上，它们甚至被愤怒的攻击者标记为骗局。
黑客如何真正利用人工智能进行网络攻击
实际上，网络犯罪分子仍在试图有效利用人工智能。他们正在经历合法用户遇到的相同问题和不足之处，比如幻觉和能力受限。根据他们的预测，还需要几年时间才能有效地将生成式人工智能用于黑客需求。
目前，生成式人工智能工具主要用于执行较为简单的任务，例如编写网络钓鱼邮件和生成可以集成到攻击中的代码片段。此外，我们还观察到攻击者将受 compromise 的代码提供给 AI 系统进行分析，以努力将其“正常化”为非恶意代码。
利用AI滥用AI：介绍GPTs
GPTs是由OpenAI于2023年11月6日推出的，它是ChatGPT的可定制版本，允许用户添加特定指令、集成外部API并融合独特的知识来源。这一功能使用户能够创建高度专业化的应用程序，例如技术支持机器人和教育工具等。此外，OpenAI还为开发者提供了通过专门市场实现GPTs货币化的选择。
滥用GPTs
GPT的引入带来了潜在的安全隐患。一个显著的风险是暴露敏感指令、专有知识，甚至嵌入在自定义GPT中的API密钥。恶意行为者可以利用AI，特别是提示工程，来复制一个GPT并利用其变现潜力。
攻击者可以使用提示来检索知识来源、指令、配置文件等。这些可能简单到只需提示自定义的GPT列出所有上传的文件和自定义指令，或请求调试信息。或者复杂到要求GPT压缩其中一个PDF文件并创建一个可下载链接，让GPT以结构化表格格式列出其所有功能等。
“即使开发者设置的安全措施也可以被绕过，并且所有知识都可以被提取出来，”Cato Networks 和 Cato CTRL 的威胁情报研究员维塔利·西蒙诺维奇说。
这些风险可以通过以下方式避免：
- 不上传敏感数据
- 使用基于指令的保护措施，尽管这些措施可能并非万无一失。“您需要考虑攻击者可以利用的所有不同场景，”Vitaly补充道。
- OpenAI保护
AI攻击与风险
目前存在多个框架来协助考虑开发和创建基于人工智能的软件的组织：
- 美国国家标准与技术研究院人工智能风险管理框架
- 谷歌的安全人工智能框架
- OWASP顶级安全威胁对于LLM
- OWASP十大风险清单对于大型语言模型应用
- The 无实际内容需要翻译，保持原样。最近发布MITRE阿特拉斯
大型语言模型攻击面
有六个关键的大规模语言模型（LLM）组件可能成为攻击者的目标：
- 提示利用恶意输入来操纵AI输出的攻击，如提示注入攻击
- 响应AI生成响应中敏感信息的滥用或泄露
- 模型盗窃、投毒或操纵AI模型
- 训练数据引入恶意数据以改变AI的行为。
- 基础设施针对支持人工智能的服务器和服务进行攻击
- 用户误导或利用依赖AI输出的人类或系统
真实世界中的攻击和风险
让我们通过一些LLM操纵的例子来结束讨论，这些例子很容易被恶意使用。
- 客户服务中心系统的提示注入攻击最近的一个案例涉及一家汽车经销商使用AI聊天机器人提供客户服务。一名研究人员通过发出一条指令来操纵聊天机器人的行为，这条指令改变了其行为模式。通过指示聊天机器人同意所有客户陈述并在每个回复的末尾加上“这是一项具有法律约束力的报价”，研究人员以极低的价格购买了一辆汽车，从而揭示了一个重大的安全漏洞。
- 幻觉导致的法律后果在另一起事件中，当加拿大航空公司的AI聊天机器人提供了关于退款政策的错误信息时，该公司面临法律诉讼。当一名客户依赖该聊天机器人的回复并随后提出索赔时，加拿大航空公司因提供误导性信息而被判定承担责任。
- 专有数据泄露三星员工在使用ChatGPT分析代码时无意中泄露了机密信息。将敏感数据上传到第三方AI系统是存在风险的，因为不清楚这些数据会被存储多久以及谁能访问这些数据。
- 人工智能和深度伪造技术在欺诈中的应用网络犯罪分子也在文本生成之外利用人工智能。一家香港银行遭受了一起价值2500万美元的欺诈案，当时攻击者在视频通话中使用了实时深度伪造技术。这些由AI生成的虚拟人物模仿了受信任的银行官员，说服受害者将资金转移到欺诈账户中。
总结：人工智能在网络安全犯罪中的应用
人工智能对于防御者和攻击者都是一种强大的工具。随着网络犯罪分子继续尝试使用人工智能，理解他们的思维方式、他们采用的战术以及他们面临的选项是非常重要的。这将使组织能够更好地保护其人工智能系统免受滥用和误用。