圣地亚哥 — 过去一周，代表全球工业巨头的学者、初创公司创始人和研究人员齐聚阳光明媚的圣地亚哥，参加人工智能领域的顶级聚会。

的神经信息处理系统NeurIPS 会议已经举办了 39 年，今年的参会人数达到创纪录的 26,000 人，是六年前的两倍。

自从成立于1987年NeurIPS 一直致力于研究神经网络以及计算、神经生物学和物理学之间的相互作用。虽然神经网络这种受人类和动物认知系统启发的计算结构曾经是一种深奥的学术迷思，但它们对人工智能系统的支撑作用已经将 NeurIPS 从科罗拉多州酒店的小众会议转变为充满整个圣地亚哥会议中心的活动——这也是世界著名的动漫展的举办地。

但即使这次聚会随着人工智能行业和诸如此类的超具体主题的会议而蓬勃发展AI创作的音乐随着人工智能领域的不断涌现，最热闹的讨论点之一是人工智能领域的基础性问题：前沿系统如何实际工作的谜团。

大多数（如果不是全部）领先人工智能研究人员和CEO们欣然承认他们不了解当今领先的人工智能系统如何运作。追求理解模型的内部结构被称为可解释性，因为人们渴望“解释”模型如何运作。

Shriyash Upadhyay，人工智能研究员和一家公司的联合创始人专注于可解释性的公司 Martian，说可解释性领域仍处于起步阶段：“人们并没有真正完全理解这个领域的含义。各种想法不断涌现，人们也有不同的议程。”

“例如，在传统的增量科学中，思想基本已经确定，科学家可能会尝试为电子的特定属性添加额外的小数点测量精度，”Upadhyay 说。

– 有了可解释性，我们就可以问： – 什么是电子？电子存在吗？它们是可测量的吗？这与可解释性是同一个问题：我们要问，“拥有一个可解释的人工智能系统意味着什么？”Upadhyay 和 Martian 利用 NeurIPS 的机会设立 100 万美元奖金促进可解释性的努力。

随着会议的展开，领先的人工智能公司的可解释性团队提出了新的、不同的方法来理解其日益先进的系统如何工作。

上周早些时候，Google 团队宣布重大转型从尝试理解模型的每个部分转向关注现实世界影响的更实用的方法。

谷歌的可解释性领导者之一尼尔·南达 (Neel Nanda) 在一份声明中写道，“考虑到我们希望我们的工作在 10 年内获得回报，像接近完整的逆向工程这样的宏伟目标仍然感觉遥不可及。”南达强调了人工智能的快速进步和团队的乏善可陈的进步，而之前的目标更加“雄心勃勃”。逆向工程方法作为转换的原因。

另一方面，OpenAI 的可解释性负责人 Leo Taka，周五宣布并在 NeurIPS 上讨论说，他正在加倍努力研究一种更深入、更雄心勃勃的可解释性形式，以充分理解神经网络的工作原理。

Adam Gleave，人工智能研究员兼联合创始人远人工智能研究和教育非营利组织表示，他对完全理解模型行为的能力表示怀疑：“我怀疑深度学习模型没有简单的解释，因此根本不可能以人可以理解的方式对大规模神经网络进行完全逆向工程。”

尽管在完全理解复杂系统方面存在障碍，但格利夫表示，他希望研究人员仍然能够在理解模型在多个层面上的行为方面取得有意义的进展，这将有助于研究人员和公司创建更可靠和值得信赖的系统。

Gleave 告诉 NBC 新闻，“我对机器学习研究界对安全和协调问题日益增长的兴趣感到兴奋”，不过他指出，致力于提高人工智能能力的 NeurIPS 会议规模如此之大，以至于“在可以兼作飞机机库的房间里举行。”

除了模型行为方式的不确定性之外，大多数研究人员对当前评估和测量人工智能系统当前能力的方法并不感兴趣。

“我们没有测量工具来测量更复杂的概念和关于模型的更大问题——一般行为、智力和推理等，”斯坦福大学计算机科学教授、可信赖人工智能研究实验室负责人桑米·科耶乔 (Sanmi Koyejo) 说。

“当研究人员测量特定的下游任务时，许多评估和基准是针对不同时间建立的，”Koyejo 说，他强调需要更多的资源和关注来为人工智能系统创建新的、可靠的和有意义的测试。

关于人工智能系统的哪些方面应该测量以及如何测量它们的相同问题也适用于用于特定科学领域的人工智能模型。

Ziv Bar-Joseph，卡内基梅隆大学教授，创始人GenBio人工智能一位高级生物学人工智能模型专家表示，对生物学特定人工智能系统的评估也处于起步阶段。

——对于生物学评估来说，现在还处于非常非常早期的阶段。非常早期的阶段，”Bar-Joseph 告诉 NBC 新闻。“我认为我们仍在研究评估事物的方式，更不用说我们应该研究什么来进行评估了。”

尽管在理解尖端人工智能系统如何工作以及如何实际衡量其进展方面取得了渐进和停滞的进展，但研究人员仍然看到人工智能系统的快速进步——增强科学研究本身的能力。

“在艾萨克·牛顿发现物理学之前，人们就已经建造了桥梁，”Martian 的 Upadhyay 说道，他指出，完全理解人工智能系统并不是引发现实世界重大变化的必要条件。

研究人员连续第四年组织了 NeurIPS 主要会议的一个分支，重点关注促进科学发现的最新人工智能方法。该活动的组织者之一，Ada Fang，博士。哈佛大学研究人工智能和化学交叉的学生表示，今年的 NeurIPS 版本“取得了巨大成功。”

“科学人工智能的前沿研究正在生物学、材料、化学和物理学领域分别进行，但潜在的挑战和想法却有着深刻的共同点，”方告诉 NBC 新闻。“我们的目标是创造一个空间，让研究人员不仅可以讨论人工智能的突破，还可以讨论人工智能对科学的影响和局限性。”

杰夫·克鲁恩,将人工智能应用于科学的先驱温哥华英属哥伦比亚大学计算机科学教授在小组讨论中表示，该领域正在迅速加速发展。

“在 NeurIPS 上，有大量的电子邮件、联系人和人在阻止我，想要谈论如何创建能够为科学学习、发现和创新的人工智能，人们的兴趣已经达到了顶峰，”Clune 说道。——我对这种变化感到非常震惊。

– 我在人群中向外望去，看到了 10 年前或 20 年前的人们，和我一起在荒野中，当时没有人关心这个问题。现在，全世界似乎都在关心这个问题。”他补充道。“看到人工智能运行得足够好，而且现在人们有足够的兴趣，想要解决一些对人类福祉来说最重要、最紧迫的问题，真是令人暖心。”