卡内基梅隆大学的 Zico Kolter 为人工智能安全和安保开辟了新道路

如果您对人工智能在我们的世界中的道德使用感到担忧，您会很高兴了解到这位行业领导者开放人工智能– ChatGPT 的制造商 – 最近成立了安全与安保委员会来研究新产品开发的潜在影响。

您将会非常高兴卡内基梅隆大学计算机科学教授济科·科尔特博士是该委员会的成员。

今年秋天，Kolter 被任命为 OpenAI 的九人董事会成员。他是董事会中唯一的人工智能研究员，也是卡内基梅隆大学 (CMU) 的主任机器学习部。

著名的 OpenAI 董事会主席 Bret Taylor 在欢迎声明中表示，“Zico 增加了对人工智能安全性和稳健性的深刻技术理解和视角，这将帮助我们确保通用人工智能造福全人类。” 

– 安全与安保委员会将听取公司领导层关于主要模型发布的安全评估的简报，并将与全体董事会一起对模型发布进行监督，包括有权推迟发布，直到安全问题得到解决, — 根据委员会九月更新来自 OpenAI。

关于程度的争论人工智能对人类的任何部分都有利或有害自 OpenAI 推出以来的三年里，这种趋势愈演愈烈聊天GPT和达尔-E，尖端的聊天机器人能够进行类似人类的对话，并根据文本提示创建复杂的图像。

Kolter 在人工智能安全方面的学术研究与公司首席数据科学家的职位相吻合。C3.ai博世人工智能中心首席专家、灰天鹅首席技术顾问。他加入了卡耐基梅隆大学2012 年在麻省理工学院获得博士后奖学金后成为教职人员。

NEXT匹兹堡询问他对于为人工智能开发的新发现做准备的想法。

* * * * *

下一个匹兹堡： 与历史上任何其他技术发明相比，人工智能似乎更迫使我们重新考虑我们所认为的人类的基本定义。作为一个在机器学习领域工作了 20 多年的人，您如何看待这一突破性时刻？

济科·科尔特：仅从我自己的角度来看，我认为这有两个非常有趣的方面。一是非常实际的本质，作为人类，我们将如何处理我们正在构建的这些系统？无论您对这些系统当前的能力以及它们将发展到的能力有什么看法，它们显然已经具有产生巨大影响的潜力。它讲述了很多关于我们如何部署这些系统、我们使用它们的目的以及我们如何构建它们的信息。

这是第一。第二，现在变得越来越形而上学，这些系统开始提出关于什么是智能的基本问题。聪明意味着什么？到目前为止，我们所看到的每一种智能都与生命、人类或在较小程度上与动物密切相关。我们很难想象一般智能与生物是分开的。

但我们可能正在接近一个这些东西将被分开的时代——一个我们将拥有无可否认的智能系统的时代。作为人类，我们需要考虑到这一点。我们需要了解这对我们的哲学、我们的生活方式和我们的工作意味着什么。它最终将对我们的道德提出非常深刻的问题。 

下一个匹兹堡： 当您开始参与 OpenAI 董事会的安全与安保委员会时，您希望实现什么目标？

科尔特：我想强调的是，我在这里表达的信念完全独立于我在安全与安保委员会中的角色。当然，我会带来这些信念和观点，并与 OpenAI 董事会和其他人分享。但这些是我作为一个在这个领域工作了一段时间的人的观点。

每当我们发布这样的技术时，都会对世界产生巨大的影响。作为这些系统的开发人员，我们必须从非常技术的角度和稍微更广泛的角度来考虑它们的影响，这一点非常重要。当我们发布这些工具时，我们希望用户和整个社会用它们做什么？ 

思考这些事情的不应该只是人工智能研究人员。全社会都应该思考他们。

下一个匹兹堡： 对于 对于我们社会中不精通技术或经济资源不足的各种边缘群体来说，人工智能技术会成为他们的资产吗？

科尔特：与任何技术一样，工具和培训的获取和可用性都存在巨大问题。我们如何思考谁将这些用于什么目的？我对人工智能的总体希望是，在许多情况下（当然不是在所有情况下，但在很多情况下）可以做大量工作来实现这些工具的民主化。

当前系统的一个非常好的事情是，与许多其他计算机系统相比，它们实际上很容易访问。用户可以更轻松地与他们互动。大多数人凭直觉掌握如何与这些系统进行对话和交流，而这对于许多旧计算机系统来说传统上是非常困难的。

如果使用得当，这些工具将为非常广泛的用户提供大量的功能和计算能力，否则他们将无法完成他们现在可以通过人工智能完成的某些事情。

下一个匹兹堡： 今年到目前为止，您和您的团队已经发表文章27篇在同行评审的科学期刊上。您正在探索任何特定领域吗？

科尔特：这项工作主要是由我的博士完成的。我所在的卡内基梅隆大学小组的学生。我有一个很大的团队，幸运的是我们能够做很多非常非常令人惊奇的研究。 

我现在最关心的事情属于人工智能的安全性和鲁棒性。尝试了解我们用来训练这些模型的数据（我们用来微调或控制它们的数据）如何影响机器学习模型和人工智能模型的性能。我们还在人工智能系统的新架构或新方法方面做了大量工作。

真正决定人工智能方法如何发挥作用的是用于塑造和构建它们的数据。这些模型如何通过将数据注入系统来生成明确的全新内容来工作不是与训练集中的情况一样令人着迷。我认为我们并没有真正完全理解这个过程。如果人工智能对你来说像魔法，那是因为它对我们来说也有点像魔法。我们确实需要从科学的角度更好地理解这个过程，了解这个过程的真正运作方式。 

下一个匹兹堡： 对于如何为未来几年人工智能的影响做好准备，您有何建议？

科尔特：每个人能做的最好的一件事就是开始使用这些现有的系统。有时我会惊讶于人们现在使用这些系统的频率如此之低。令我震惊的是，我所在行业的人工智能研究人员很少在实验室之外使用这些系统。

我们所有人都需要成为生成式人工智能工具的原住民。将它们用于您所做的一切。用它们来起草想法、进行研究、编写代码、创建初始报告。也可以用它们来娱乐。我用它们通过 ChatGPT 和我的女儿们一起写故事。这非常有趣，我的孩子们喜欢尽可能使用这些系统。

在很多情况下，这些系统没有手册。您只有一个空白文本框。当你第一次看到它时，它有点令人畏惧。开始熟悉这些系统可以做什么、它们现在可以做什么、它们在绝对前沿可以做什么。它们将越来越成为我们生活的一部分。高效且有趣地使用它们。您将能够更好地应对这些可能即将到来的系统的发展。

如需考虑更多有关人工智能的道德问题，我们建议您这样做阿尔伯塔大学生成式人工智能使用指南在加拿大，涉及环境问题、潜在的版权使用影响、偏见、隐私和准确性问题。