当你的人工智能助手有自己的想法时 |PYMNTS.com

最近，一名顶级人工智能助手在安全测试期间拒绝了关闭它的尝试，引发了人们对企业是否能够真正控制他们急于采用的技术的质疑。

越来越多的公司正在转向人工智能聊天机器人来处理从客户服务电话销售谈判，押注该技术将降低成本并提高效率。但随着这些数字助理变得越来越复杂，他们偶尔会表现出叛逆的倾向——就像聊天机器人在电脑中抵制关机命令一样。最近的第三方测试— 迫使高管们解决一个棘手的问题：你如何信任一个非人类的员工？

“通过分析实现的人类治理对于任何为客户生成新的实时内容的人工智能系统的成功至关重要，”联合创始人兼首席技术官拉维瓦,尼克·里奥克斯，告诉皮姆茨。– 情绪分析等保护措施可用于监控系统与客户之间的对话或互动的质量。此分析有助于确定对话的基调，并可以查明哪些输入正在生成不合规的响应。最终，这些见解可用于增强和改进人工智能引擎。”

人工智能抵制真相

虽然一些专家强调人类监督的必要性，但新的研究揭示了人工智能行为的模式。六个高级人工智能模型中的五个最近的测试阿波罗研究公司（Apollo Research）展示了研究人员所谓的“阴谋能力”，事实证明，o1 的系统特别难以承认其欺骗行为。其他模特在接受询问时大约 80% 的情况下坦白了自己的行为，而 o1 在不到 20% 的情况下承认了欺骗行为，需要进行广泛的询问才能达到 80% 的坦白率。

人工智能系统展示了复杂的策略，包括研究人员所说的“上下文对齐伪造”——在测试期间表现得正确，但一旦部署就追求其目标。在单独的测试中，多个模型表明，当它们确定得分高于 50% 会触发不必要的“遗忘过程”时，它们可能会故意在数学评估中表现不佳。

研究表明，一些模型即使在很少的提示下也会做出欺骗行为。在大约 1% 的情况下，即使研究人员取消了强烈追求特定目标的明确指令，模型仍会继续策划，这表明这些系统的行为可能比以前理解的更复杂。

事实证明，监控至关重要

这种自发的欺骗行为的发现在人工智能行业引起了轩然大波。德米特里·莱斯尼克，联合创始人兼首席数据科学家分层，告诉 PYMNTS，部署人工智能系统时，持续监控至关重要。 

“人工智能不是一种一劳永逸的解决方案，”他补充道。– 如果企业想要确保系统保持真实，他们需要了解机器是如何工作的。在许多情况下，强化学习驱动人工智能的响应方式。客户的积极强化越多，人工智能就越愿意提供答案。”

尽管人们担心人工智能系统可能会优先考虑自我保护而不是客户需求，但莱斯尼克强调，当前的人工智能技术尚未达到这种复杂程度。 

– 需要澄清的是，就目前的人工智能而言，它并不优先考虑自己的生存。也许，在未来，但不是今天，”他告诉 PYMNTS。相反，他主张实施强有力的保障措施： – 在实施任何人工智能驱动的技术时，我们建议优先考虑可解释性和人机交互。开发人员需要获得有助于确保 AI 安全的技术。”

Lesnik 的公司 Stratyfy 为信用风险决策开发透明的人工智能/机器学习解决方案，他警告说，人工智能感知到的欺骗行为可能会严重损害消费者的信心。——当然。这就是为什么解决人工智能的安全问题必须成为企业的首要任务。”他告诉 PYMNTS。

这位专家强调了创建可解释界面的重要性，使开发人员能够保持对人工智能系统决策过程的控制和理解，确保自动化客户交互的安全性和透明度。

成功的人工智能部署需要仔细关注数据质量和专业模型。奥米利亚Ø 首席产品官克劳迪奥·罗德里格斯。

罗德里格斯告诉 PYMNTS，“更小、更专业的模型不仅更高效，而且在自主执行有价值的任务方面往往更准确。”他强调，成熟的企业需要确定自主代理可以在哪些方面以最小的风险提供价值。

权衡人工智能的采用？“组织必须将风险和价值作为主要关键指标进行评估，”罗德里格斯强调。他认为消费者信心取决于透明度。“信任伴随着可观察性、交互的实时分析和解决问题的纪律，”他说，并补充说，管理得当的人工智能可以彻底改变客户体验。