人工智能驱动的黑暗模式：人工智能如何增强数字操控

我在里斯本网络峰会上认识的法国律师兼企业家玛丽·波特尔·萨维尔 (Marie Potel-Saville) 有一个使命：根除数字世界中的黑暗模式。

她的公司，公平模式，开发了一系列解决方案来识别这些操纵性设计，审核数字平台以保护用户并引导公司采取更道德的做法。这些设计技巧存在于无数的网站和应用程序中，它们巧妙地（有时不那么巧妙地）误导用户采取他们可能不会选择的行动。

还记得有一次你被骗接受了一个“不容错过的机会”并注册了一个你并不真正需要的订阅，却发现你必须经历一个漫长而混乱的过程才能取消它吗？或者，当您尝试关闭在线广告的弹出窗口，但“x”符号太小，您实际上最终点击了该广告？

这些是“黑暗模式”的典型例子，还有其他几个：经合组织已确定六大类各种设计实践，从唠叨到强制注册和倒计时器，都被用来操纵消费者进行不必要的购买或损害他们的在线隐私。

这些策略不仅限于利基网站或粗略的服务。一个最近的报告欧盟委员会指出，欧盟 97% 以上最受欢迎的网站和应用程序都在某种程度上采用了深色图案，并且研究美国联邦贸易委员会（FTC）也显示了类似的统计数据。

随着人工智能在在线平台上的大规模采用，问题只会变得更糟。

“生成式人工智能可以增强黑暗模式，”Potel-Saville 解释道。“你不需要人工智能来个性化交互，但有了人工智能，在大规模、超有针对性的规模上做到这一点要容易得多。”她描述了一个假设的例子，强调了这种影响的含义技术：想象一下一个购物者在网站上浏览运动鞋。

他们与人工智能聊天机器人互动，询问产品信​​息，机器人配备了来自社交媒体、过去购买和个人偏好的大量数据，巧妙地建议他们不打算购买的物品或升级。– 机器人可能会说，“我们有适合您尺码的鞋子，它们与您上周买的牛仔裤搭配起来很漂亮。”别忘了，你即将举办一场派对。”

Potel-Saville 指出，虽然这种个性化看起来无害，但当它利用漏洞或个人数据来推销用户不打算购买的产品或服务时，它就会变成操纵行为。“例如，机器人可能会说‘如果你选择这双鞋，你就可以享受免费送货’，然后免费送货不仅仅是免费送货，它还是定期订阅。”

The Fair Patterns 首席执行官强调数字空间中知情选择的重要性，她认为随着人工智能的日益复杂，这一点正在受到侵蚀。

– 对于某些人来说，这很烦人。但对于年轻人或老年人等其他人来说，这可能是彻头彻尾的剥削，”她说。

更令人担忧的是，生成式人工智能可以从巨大的数据集中学习，可以将黑暗模式放大到前所未有的程度，不知不觉地复制这些操纵策略只是因为它们嵌入到了训练所用的数据中。

“如果不清理数据，人工智能就会认为这些策略是正常的，”Potel-Saville 解释道。

这就是 Fair Patterns 工作的开始。公司的方法不是完全消除影响力，而是使其更加透明并符合道德准则和法律合规性

该公司使用利用 Claude、Gemini、Lama 和聊天 GPT 功能的多模型算法，扫描网站和应用程序以标记这些操纵性设计，将每个实例与公司面临的法律风险联系起来，这些风险因地区而异。

例如，在欧洲，与暗色图案相关的违规行为可能会受到 GDPR、数字服务法或人工智能法的处罚，对肇事者处以最高 4%（针对 GDPR）或 6%（针对 DSA）的罚款。的全球营业额。在美国，莉娜·汗（Lina Khan）领导下的联邦贸易委员会（FTC）也开始对以这种方式剥削用户的公司采取更强硬的立场。

《堡垒之夜》的制造商 Epic Games 被判向消费者支付 2.45 亿美元，以和解该公司利用黑暗图案诱骗玩家进行不必要的购买的指控。该委员会还采取行动针对亚马逊，指责该公司“多年来在未经消费者同意的情况下让消费者加入其 Prime 计划，同时故意让消费者难以取消订阅。”

此举引发了亚马逊一位投资者的另一起诉讼。

虽然只有少数案件导致了巨额罚款，但波特尔-萨维尔认为这是一个有希望的开始，开创了先例，有一天可能会让黑暗图案不再那么普遍。“这些行动很重要，因为它们向公司表明这是有后果的，”她说。

她的目标是推动公司采取一种不需要依赖这些操纵性设计来促进销售或数据收集的方法。

一些公司已经开始接受 Fair Patterns 的建议，其中包括 Canva 和 Bumble 等大公司，它们正在采取措施消除其平台上的黑暗模式。

她认为，廉洁从业的商业理由是不言而喻的。

尽管深色模式可能会带来短期利润增长，但长期影响可能会对消费者信任造成灾难性的影响。研究表明一旦用户意识到自己被欺骗了，他们对品牌的忠诚度就会降低。

“从短期来看，你从这些策略中获得的收益，当客户意识到发生了什么时，你会失去双倍，”她说，并解释说，这会侵蚀公司的客户终身价值，这是一个关键指标在当今竞争激烈的数字环境中。

设计操纵和欺骗策略在当今的数字环境中根深蒂固，以至于摆脱它们，至少限制它们，似乎是一项艰巨的任务；尽管如此，随着监管、消费者意识和初创公司共同解决这个问题，这种情况有望改变。

“最终，我们希望创建一个以数字公平为规则而非例外的市场，”Potel-Saville 说道。

谁能反对这一点呢？