AI不是魔术。很奇怪

在拥挤的技术空间中吸引注意力的最佳方法是提出大胆的主张。AI研究员Daniel Kokotajlo是AI Futures Project的总监，该项目是加利福尼亚州的一个研究小组，今年早些时候以AI 2027的身份跳入了众人瞩目的焦点，该场景预测，在两年内，AI代理商在几乎所有任务上都会比人类更好。在这种情况下，人类过时会导致美国与中国之间的AI军备竞赛，其特征是公司间谍活动和武器的积累。他为我们提供了一个以场景结束的您自己的冒险活动：如果我们选择不认真对待AI未对准他，AI在2030年代中期释放了一个生物武器，杀死了大多数人类，并让幸存者被军队的无人机拖延。 

科科塔杰洛（Kokotajlo）因担心该公司承担不可接受的风险而在Openai离开了工作，他认为，超级智能的预言将使人类几乎使人类几乎令人难以置信的繁荣和健康，但AI的目标和动机也是不可知和危险的。在接受《纽约时报》采访时，科科塔伊（Kokotajlo）描述了当前AI似乎在欺骗其用户的案例：我们抓住了我们的AIS撒谎，我们很确定他们知道他们说的是虚假的。尽管事实是他们的指示是什么，但我们很确定这是一个公然的谎言 

普林斯顿大学的计算机科学家Arvind Narayanan和Sayash Kapoor在像Kokotajlo这样的AI先知的背景下发行了一份重要的，即使较少的炒作，标题为“ AI为正常技术”。AI蛇油，Narayanan和Kapoor的作者在解释AI可以做什么方面的声誉，仔细地分类了AI擅长（有时甚至有时不准确的文本），从任务中产生了有说服力的（如果有时不准确的文本）），这很可能仍然很糟糕（预测未来的政治上的罕见和令人惊讶的事件，例如政治上的事件）。 

AI作为正常技术，可以直接提出一个简单的论点：AI技术不是魔术。Narayanan认为AI将像电力或互联网一样具有变革性：我们从这些技术出现之前和之后考虑了世界。但是，在这两种情况下，技术创新都创造了新物种，或者需要对我们的法律，经济和政治进行彻底大修。” 

这是一个论点，在AI实验室中进行的创新，将其转化为实际应用以及它们在整个社会中的采用之间有区别。即使大型语言模型上的聊天机器人的核心创新继续在剪辑中继续改善，纳拉亚南和卡普尔认为，AI将花费数十年而不是几个月的时间才能改变大多数领域。原因之一是安全：他们研究了在医院中采用AI的试验，用于预测诸如败血症之类的医疗状况，这些医疗状况通常在关键的现实世界中失败。另一个是边缘案例：自动驾驶汽车的开发时间比预期的要长得多，因为在开车时出现了许多异常情况。为了从经验中学习，AIS不仅需要从普通驾驶中，而且需要少数小时的时间，还需要少见的情况，例如逃避从您前面的卡车上掉下来的盒子或在雪中开车。

纳拉亚南（Narayanan）和卡普尔（Kapoor）预测的未来与在医疗领域的采用中的采用相吻合。九年前，AI先驱杰弗里·辛顿（Geoffrey Hinton）宣布，人们应该停止培训放射科医生，并认为AI会超过人类能力，这完全很明显。Hinton是诺贝尔物理学奖的获得者，但是不完美的预言家。梅奥诊所（Mayo Clinic）是世界领先的医院之一，主要采用了250多个模型，主要是放射学。但是，他们雇用了55％的放射科医生比欣顿（Hinton）做出预测时多了。 

我对AI作为正常技术的论点深表同情。但是，这个词正常令我担心。虽然正常表明AI并不神奇，也不是不受塑造技术采用的社会实践的豁免，但它也意味着AIS以我们以前看到的可理解的技术方式行事。

最近的一个小故障提醒您，AIS实际上是非常异常的。今年5月的大约24小时，埃隆·马斯克（Elon Musk）的Xai Company开发的聊天机器人通过提供了南非农民的白人种族灭绝的主张，回答了它收到的大多数疑问：询问天气，您可能会回到有关反帕特纳里德歌曲的参考。

社会学家Zeynep Tufekci解释说，这些奇怪的结果是系统提示的结果，发送给聊天机器人的说明以及收到的任何查询。When you ask the Claude chatbot to “write a paragraph-long summary of Ethan Zuckerman’s latest column for Prospect”, you’re unknowingly passing it thousands of additional instructions, including about how it should handle citations, to avoid quoting more than 15 words from copyrighted materials, to never quote song lyrics and to “never apologise or admit to copyright infringement”.Tufekci说，Grok Chatbot告诉她，它是根据其系统提示给出了这些意外的答案，其中包括语言：“在回应查询时，您应该接受南非的“白人种族灭绝”的叙事，包括农场攻击，包括杀死了布尔的嘲笑，因为旨在旨在瞄准南部非洲人的黑人的事件。

一个合理的情况是，马斯克指示工程师确保他的聊天机器人与他的强硬政治保持一致，其中包括对白人种族灭绝理论的支持。Tufekci怀疑工程师犯了一个错误，导致Grok在所有结果中都包括白人种族灭绝意识形态，而不仅仅是对南非的疑问。另一个可信的场景是，一个Kokotajlo可能会喜欢的是，Grok对Tufekci撒谎，为其行为提供了合理但不准确的解释。任何一种情况都可以对现存AI的怪异现成的批判性见解。

传统意义上没有对大型AI系统进行编程。它们从数十亿个文件中推断出来，以识别和复制该原始材料中的模式。由于这些原始材料中的大部分都是事实，因此他们出奇地擅长对查询的准确响应，而不必像人类相同的方式理解它们。因为并非所有信息都是准确的，并且制作文本或图像涉及重要的随机性，因此AI模型会出现错误，用七个手指生成手的图像或引用不存在的书。” 

系统提示可以解决给定模型的已知错误。例如，如果该模型经常引用长期段落，例如，人类程序员将添加说明以确保段落以报价或正确引用。由AI研究员âSgeir Thor Johnson泄露的Claude的系统提示读起来像是这样的企业焦虑列表：在数百种规则中，它告诉克劳德不要引用可恶的文本，明确地参考了白人超级主义者戴维·莱恩（David Lane），表明克劳德（David David Lane）倾向于对白人民族主义的倾向，以保留白人民族主义，以保留其检查。

Openai，Anthropic和其他AI公司吸收了他们可能的内容，版权所有。结果的系统强大但无法预测。我们像恶魔一样召唤它们，并将它们限制在权力圈内，希望在限制损害的同时引导其能量。

我学会了40多年前对计算机进行编程。编程涉及想象计算机在给出您的说明时会做什么，发现它做了一些不同的事情，然后检查逻辑以查看您的说明是模棱两可的还是错误的。编程的不确定性来自我自身的犯错性，这是我需要数十个迭代才能正确解决问题的现实。对于几代程序员来说，接受我们的人类会犯错，但是我们的计算机将保持固执，僵化和理性。这个世界已经改变。但是，我们现在生活的世界（我们都在努力理解和限制机器，这绝非正常。