为什么没有人能在AI的黑匣子内看到

当您单击Microsoft Word中的按钮时，您可能会知道确切的结果。这是因为每个用户操作都会通过一条路径导致预定的结果，该路径在程序源代码中逐条逐行映射开发人员。直到最近，许多经常使用的计算应用程序也是如此。但是，人工智能系统，尤其是为Chatgpt和Claude之类的大型语言模型而建立并因此以根本不同的方式运作。开发人员没有以分步的方式对这些新系统进行编程。这些模型通过复杂的学习过程塑造了自己，对大量数据进行培训以识别模式并产生响应。

当用户输入提示时，由这些模型提供动力的聊天机器人可以在文本应用程序中预测句子中的下一个单词，而输出文本中的下一个单词可能会感到非常人性化。同样，诸如DALL-E和MIDJOURNEY之类的图像生成模型通过对数十亿个图像文本对进行培训，而无需遵循明确的绘图指令而创建视觉效果。

这些聊天机器人或图像模型如何产生他们的下一个单词，图像或想法的确切机制，甚至对创作者来说仍然有些神秘。这有点像观看直觉的厨师厨师，您可以观察成分和结果，但是他们如何到达决策的确切过程尚不清楚。理解AI内部工作的挑战并不是新的。十多年来，透明度研究一直是计算机科学领域的一个领域，试图凝视着受人脑和其他AI算法的启发的神经网络复杂计算系统的黑框。尽管该领域的研究人员探索了各种方法，包括旨在帮助解释AI决策的可解释的AI工具，但这些技术解决方案在实践中尚未证明非常有用。

这种不透明度创造了一种前所未有的动力动力：首先，在最基本的层面上，建立这些AI系统的技术公司在内部不完全了解其模型的工作方式，这是技术本身固有的挑战。但是，透明度的第二个，独特的障碍：开发人员将制造他们训练这些系统的数据，并向其组织外部的人使用。此外，具有独立研究这些系统的技能和知识的外部研究人员也缺乏运行自己的实验的资源和计算能力，即使他们具有数据访问。通过生成的AI快速重塑社会，从医学诊断到课堂教学，学术和独立的研究人员都在进行平行调查：他们希望打开AI黑框，以了解其决策，同时严格研究这些系统如何如何影响现实世界。最近的突破表明，真正的透明度不仅需要凝视着AI的内部运作，还需要重新想象社会应该如何研究，评估和控制这些系统。

有意义的透明度。掌握AI模型的基本内部非常重要，因为它可以在需要时进行精确的干预措施，就像有针对性的疗法通过阻止精确的生物学途径彻底改变了医学。``当人们想解决帕金森氏症时，他们知道了解机制可以针对特定流程。神经网络如何处理信息并做出决策的研究。``我们与AI无处不在，但我们开始看到这些机制。”

但是，寻求解码AI的内部决策过程以及相关的研究领域仍在不断发展。鲍说，可解释性研究是困难而混乱的。``甚至我们要回答的问题是什么。bau指出，每个月都有更多的知名度，这表明最近在理解这些模型的某些计算层的行为方面取得了突破，甚至是如何进行人造人工的顺序AI模型内的神经元或二进制计算单位可以显着影响其建立正确关联的能力。

然而，随着人们与大语言模型的每日互动变得越来越普遍，构成有意义的透明度的概念也在不断扩大。有些人认为，不需要充分说明这些机器中的每个齿轮。Sayash Kapoor博士说，我们真正需要了解的是这些大型语言模型如何与世界互动。普林斯顿大学的候选人信息技术政策中心谁被包括在时间2023年AI中有100名最有影响力的人。也许不应将AI系统视为纯工程问题，仅关注AI模型如何产生输出。卡普尔说，弄清楚语言模型在社会中的运作方式至关重要。

他说，机械师可能对汽车的运作方式有深入的了解。世界互动

这种更广泛的透明度观点正在研究社区中受到关注。在荷兰的Radbound University，研究人员开发了透明度矩阵这不仅仅是技术解释，还结合了模型信息，培训数据详细信息和社会影响评估。对于分销AI研究所（DAIR）研究总监Alex Hanna来说，最关键的透明度问题根本是技术。他们涉及人类和组织的决策，围绕如何以及何时部署AI系统。hanna解释说，没有有意义的公司透明度，我们甚至可以开始理解这些系统如何影响现实世界。尽管培训数据访问也很重要，但她强调，透明度周围的基本问题是关于组织决策的，例如尽管他们幻觉却如何发布AI系统，或者如何评估影响和风险，而不是技术解释。

一些研究人员说，人工智能公司决定不共享AI系统数据可能会达到战略目的。华盛顿大学语言学教授艾米丽·班德（Emily Bender）说，他们对培训数据的分享越少，他们就越能声称自己的系统是魔术。Bender提倡采用更严格，更严格的AI开发方法，批评将语言模型作为普遍问题的趋势。她说，我们应该谈论功能，而不是功能。”例如，虽然直接在医疗数据上培训的AI系统似乎有用，但依靠该任务的语言模型可能无效。``如果语言模型中有足够的叙述性数据，它可能会提出相关的内容，但这不是目的构建的，” Bender说，警告说这些系统在诊断患者时，没有像医生那样做的概率思维。由于培训数据中的偏见，他们也可能无意间永久存在医疗种族主义。取而代之的是，针对每个任务专门设计的策划和评估数据集的弯曲者倡导者。这只有在足够的透明度的情况下才能起作用。

汉娜说：“大多数数据集都开放了，因此我们可以评估它们是否在培训数据中进行工作。”通常不会发布的培训数据对于知道语言模型是否超过其部分的总和是有用的。

AI开发中的惊人悖论。建立AI系统的实验室支持AI风险的透明度，同时令人惊讶地不透明自己的模型和决策过程。斯蒂芬·卡斯珀（Stephen Casper），麻省理工学院的计算机科学博士算法对齐小组的学生和研究人员在研究AI系统的内部结构和过程的情况重要决定。他说，领导AI公司赢得了胜利，当公众更担心AI系统内部运作的不透明性，而不是AI实验室的运营，决策和指导的透明度。卡斯珀说，尽管他将大部分研究致力于理解AI系统，但机构透明度可能更为重要且难以解决。例如，他们的研究出版物缺乏公司透明度，阻止像他这样的外部研究人员完全评估AI实验室选择的研究方向。

汉娜说：“对透明度的抵制通常源于竞争性问题，而不是合法的隐私问题。”据研究人员称，尽管某些人类像Anthropic这样的实验室的出版物比其他实验室更广泛，但即使这些更开放的努力也没有学术标准。

通过访问AI系统的培训数据和方法以及独立研究这些系统所需的计算资源，学术研究人员可以帮助填补这一知识差距。即使获得白盒访问和研究模型内部参数的能力，Casper Notes对于有意义的研究和评估至关重要。尽管Meta释放了Llama 3，这是六个多月前的4050亿参数开源模型，但学术研究人员仍被卡住了。鲍说，模型是如此之大，以至于科学家很难研究。”``运行该模型需要一个计算机集群，成本超过100万美元，并且需要分布在16或34个GPU设备上。赛道而不是躺在手术台上。我们想创建基础架构以允许研究这种规模的模型。

国家深度推理计算结构（NDIF）项目是一项研究计算基础设施项目，六个月前启动了，这要归功于东北大学的900万美元国家科学基金会拨款，旨在应对这些挑战。该项目的主要主要研究人员BAU说，我们一直在创建基础设施和原型型，并开始在此规模上进行一些初步科学。``此类调查已在专有公司内部尝试过一些尝试，但这是我们第一次尝试使用公共基础设施来进行学者进行。”

一个更加平衡的未来。跑步和研究大语言模型的高成本在AI研究中造成了不平衡。尽管主要科技公司拥有全面透明度研究所需的资源，但他们可能缺乏对仅仅能力改善的理解的激励措施。

这些资源限制突出了一个更深入的问题，即最初是什么推动透明度努力的问题。人们可以有多种理解内部事件的动机。鲍说，有些是出于透明度问题或公平性的动机，而另一些则由能力发展。”我是出于透明度的动机，因为我们对自己所建立的系统负有责任。不平衡是如此令人担忧。如果没有有意义的访问计算资源和机构知识，学术界将无法履行其在理解和评估这些日益强大的系统方面的关键作用。

如今，资金丰富的科技公司的AI研究集中度反映了技术发展的历史模式，从电信的早期统治到IBM对早期计算的控制。然而，当技术革命和开源软件如何发展创新时，当技术变得更加民主化时，最具变革性的突破经常出现。

随着AI系统变得越来越复杂和影响力，这种差异可能会破坏不仅创新，而且破坏科学过程本身。未来的挑战需要解决透明度的技术和机构障碍。为超出选择性披露的有意义的透明度创建框架，对于确保这些技术以可以正确理解，评估和与公共利益保持一致的方式至关重要。正如计算工具的民主化激发了创新浪潮一样，扩大对AI系统和研究基础设施的访问也可以在能力和安全性方面释放新的途径。

本文中表达的观点是作者，不代表美国政府的观点。