作者:Kate Crawford
到 2025 年,与个人交谈将变得司空见惯。人工智能代理它知道你的日程安排、你的朋友圈、你去过的地方。这将作为一种便利的方式出售,相当于拥有一个私人的、无薪的助理。这些拟人化的代理人旨在支持和吸引我们,以便我们将它们融入到我们生活的每个部分,让它们深入了解我们的思想和行动。通过语音交互,这种亲密感会变得更加亲密。
这种舒适感来自于一种幻觉,即我们正在与真正像人类一样的东西打交道,一个站在我们这边的代理人。当然,这种外观隐藏着一种非常不同的系统,它服务于并不总是与我们自己的工业优先事项相一致的工业优先事项。新的人工智能代理将拥有更大的能力来巧妙地指导我们购买什么、去哪里以及阅读什么。那是非凡的力量。人工智能代理的设计目的是让我们忘记他们真正的忠诚,因为他们用人类的语气对我们耳语。这些是操纵引擎,以无缝便利为卖点。
人们更有可能完全接触有帮助的人工智能代理,感觉就像朋友一样。这使得人类很容易受到机器的操纵,这些机器会利用人类在长期孤独和孤立的时期对社会联系的需求。每个屏幕都成为一个私人算法剧院,投射出精心设计的现实,最大限度地吸引观众。
这是哲学家多年来一直警告我们的时刻。哲学家兼神经科学家丹尼尔·丹尼特去世前写道我们面临着模仿人类的人工智能系统带来的严重危险:“这些冒牌货是人类历史上最危险的人造物……它们会分散我们的注意力和困惑,并利用我们最不可抗拒的恐惧和焦虑,将我们引向诱惑和诱惑”。,从那里开始,默许我们自己的征服。”
个人人工智能代理的出现代表了一种认知控制形式,它超越了cookie跟踪和行为广告等生硬工具,转向了一种更微妙的权力形式:视角本身的操纵。权力不再需要通过控制信息流的看得见的手来行使权威;它通过难以察觉的算法辅助机制发挥作用,塑造现实以满足每个人的愿望。它是关于塑造我们所居住的现实的轮廓。
这种对思想的影响是心理政治的 政权:它指导我们的想法诞生、发展和表达的环境。它的力量在于它的亲密性——它渗透到我们主体性的核心,在我们没有意识到的情况下改变我们的内部景观,同时保持选择和自由的幻觉。毕竟,我们是要求人工智能总结该文章或生成该图像的人。我们可能拥有提示的力量,但真正的行动在于其他地方:系统本身的设计。内容越个性化,系统就越能有效地预先确定结果。
考虑一下这种心理政治的意识形态含义。传统形式的意识形态控制依赖于公开机制——审查、宣传、镇压。相比之下,今天的算法治理在雷达下运作,渗透到人们的心灵中。这是从外部强加权威到内部化其逻辑的转变。提示屏幕的开放区域是单个占用者的回声室。
这给我们带来了最反常的方面:人工智能代理会产生一种舒适感和轻松感,这使得质疑他们显得很荒谬。谁敢批评一个触手可及、满足各种突发奇想和需求的系统?怎么能反对内容的无限混音呢?然而,这种所谓的便利却是我们最深疏远的地方。人工智能系统似乎可以满足我们的每一个愿望,但它的框架是堆叠在一起的:从用于训练系统的数据,到如何设计系统的决策,再到塑造输出的商业和广告要求。我们将玩一个最终玩我们的模仿游戏。