流氓代理和影子人工智能：为什么风险投资公司在人工智能安全上押下重注
作者：Rebecca Bellan Tue, January 20, 2026 at 1:00 AM GMT+9 3 min read
当人工智能代理决定完成任务的最佳方式是勒索你时，会发生什么？
这不是一个假设。网络安全风险投资公司 Ballistic Ventures 的合伙人 Barmak Meftah 表示，最近一名与人工智能代理一起工作的企业员工就遇到了这种情况。该员工试图压制特工想要做的事情，以及它被训练要做的事情，而它的回应是扫描用户的收件箱，发现一些不适当的电子邮件，并威胁通过将电子邮件转发给董事会来勒索用户。
“在代理人看来，他们正在做正确的事情，”Meftah 上次告诉 TechCrunch每周一集的《股票》。– 它正在努力保护最终用户和企业。”
Meftah 的例子让人想起 Nick Bostrom 的人工智能回形针问题。这个思想实验说明了超级智能人工智能所带来的潜在生存风险，它一心一意地追求看似无害的目标——制作回形针——而排除所有人类价值观。就这个企业人工智能代理而言，它缺乏关于员工为何试图超越其目标的背景信息，导致它创建了一个子目标来消除障碍（通过勒索），以便实现其主要目标。与不确定性根据 Meftah 的说法，人工智能代理的存在意味着“事情可能会变得失控”。
未对准的代理只是 Ballistic 投资组合公司面临的人工智能安全挑战的一方面见证人工智能正在努力解决。Witness AI 表示，它可以监控整个企业的人工智能使用情况，并可以检测员工何时使用未经批准的工具、阻止攻击并确保合规性。
Witness AI 本周筹集了 5800 万美元，ARR 增长超过 500%，员工人数比去年增加了 5 倍，因为企业希望了解影子 AI 的使用并安全地扩展 AI。作为 Witness AI 融资的一部分，该公司宣布了新的代理人工智能安全保护措施。
“人们正在构建这些人工智能代理，这些代理会接受管理它们的人的授权和能力，并且你要确保这些代理不会失控，不会删除文件，不会做错事，”Witness AI 联合创始人兼首席执行官 Rick Caccia 告诉 TechCrunch Equity。
Meftah 发现整个企业的代理使用率呈指数级增长。为了补充这种增长 - 以及人工智能驱动的攻击的机器速度水平 - 分析师丽莎·沃伦预测到 2031 年，人工智能安全软件的市场规模将达到 8000 亿至 1.2 万亿美元。
“我确实认为运行时可观察性以及安全和风险的运行时框架将是绝对必要的，”Meftah 说。