询问伦理学家：如何为AI时代创建护栏

AI会破坏人类或提升它吗？哲学家克里斯托弗·迪卡洛（Christopher Dicarlo）的新书研究了当AI超过人类能力时，我们如何导航。

克里斯托弗·迪卡洛，哲学家，教育家和伦理学家，在多伦多大学任教。“建立神：人工智能的伦理及其控制竞赛的伦理”的作者。

第一部分

黛博拉·贝克尔（Deborah Becker）：人工智能，从本质上讲，机器做需要人类智能的事情的地方不仅在这里留下来，而且呈指数型。有可能完全改变社会。因此，世界技术领导者正在尝试利用AI的力量，并且大多数人坚持认为这将使我们所有人受益。

以亚马逊创始人兼首席执行官杰夫·贝佐斯（Jeff Bezos）为例。

杰夫·贝佐斯（Jeff Bezos）：世界上没有机构无法通过机器学习来改善。

贝克尔：或苹果首席执行官，蒂姆·库克（Tim Cook）。

蒂姆·库克（Tim Cook）：我对AI有一个非常积极和乐观的看法。

贝克尔（Becker）：乐观的部分是因为人们认为，世界上第一个万亿人将是掌握人工智能的人，并利用它来改善生活和工作的各个方面，从执行我们宁愿避免的平凡任务到实际延长我们的寿命。

但这并不是说对此并不担心。神经科学家和哲学家萨姆·哈里斯（Sam Harris）认为AI构成了存在的威胁。

山姆·哈里斯（Sam Harris）：我们物种将面临的最大挑战之一。

贝克尔：以及诺贝尔奖获得者和Google DeepMind Technologies的首席执行官。Demis Hassabis处于AI开发的最前沿，当Hassabis与本月60分钟的Scott Pelley进行了交谈时，他吹捧了他认为从AI中获得的巨大好处，但他也承认，人工智能，特别是人工通用智能或AGI，提出了一些深刻的问题。

Demis Hassabis：当Agi到来时，我认为这将改变有关我们做事方式的几乎所有事情。几乎是，我认为我们需要新的，伟大的哲学家才能出现，希望在未来五年，十年中才能理解这一含义。

贝克尔：这样的担忧并不新鲜。1965年，数学家和计算机研究人员欧文·约翰·古德（Irving John Good）写了《 Quote》，第一个超智能机器是人类有史以来的最后发明，只要机器足够温顺地告诉我们如何控制它。今天的客人认为，我们需要立即采取步骤来控制这项技术，然后才能控制我们。

克里斯托弗·迪卡洛（Christopher Dicarlo）是多伦多大学的伦理学家和教授。他一直在写关于人工智能及其对人类的影响的文章。他最近的书的标题为“建立神：人工智能的伦理和控制它的竞赛”。克里斯托弗·迪卡洛（Christopher Dicarlo），欢迎来到点。

克里斯托弗·迪卡洛（Christopher DiCarlo）：谢谢你有我。

贝克尔：所以我们要抛开上帝的问题。一个大问题，让我们从这场发展AI的比赛中的一些细节开始。为什么您认为这是一场比赛，这里的球员是谁？

迪卡洛：是的，好问题。玩家是大型技术兄弟。你有，扎克，你有山姆·奥特曼。

贝克尔：马克·扎克伯格。是的。

迪卡洛：（笑）好。和Openai的Sam Altman，您在DeepMind上有Demis。您的Dario处于众多状态。那里也有一些微软的工作。当然，埃隆也很想成为那场比赛的一部分。

贝克尔：那是全美国还是我们在说什么？是美国和中国吗？在人工智能方面，这里没有全球种族吗？我们也谈论很多钱，对吗？为什么种族很重要？

迪卡洛：是的。因此，我们不知道中国在多大程度上致力于AGI。我们确实知道它们具有很高的竞争力。他们正在努力建立自己的芯片工厂。

但是他们在多大程度上与美国的所作所为相提并论。我们不太确定。我们甚至不确定他们关心AGI，可能也发生了一些事情。但是目前，美国似乎正在领导比赛。

贝克尔：为什么？我们确实说，有些人建议掌握人工智能或AGI的人，专门将成为世界上第一位千万富翁。

那真的是在这里发生的事情吗？是金钱吗？是两个吗？

迪卡洛：两者。一定。总是那个底线，对吗？美元，因为Openai和这些主要的大型科技公司有很多钱。他们让投资者向组织中抽钱，希望他们能产生大型东西。

萨姆·哈里斯（Sam Harris）说，下一件大事是阿吉（Agi），实际上是第一个到达那里的大事。

贝克尔：那为什么阿吉是下一件大事呢？向我们解释，这将是什么要变革，以至于世界将会跳上这一点并创造一个千万富翁？

迪卡洛：是的，当然。因此，让我很快澄清。AI有三种类型。ANI，AGI和ASI。ANI是我们今天使用的。人工狭窄的智能。如果您使用MapQuest或任何类型的GPS，则与Siri或Alexa交谈，如果您拥有Roomba甚至是自动驾驶汽车，则都是人造狭窄的智能。

因此，基本上，它根据其算法发挥作用，并且不会做更多的事情。您的Roomba不想要求搬到法国成为一名艺术家。它总是要做编程的要做的事情。AGI是下一个级别。那就是它成为代理的时候。

它成为代理人。它具有一定数量的自主权或自由，并且会像我们一样思考。它会像人类一样思考。优点和更有效的一百万倍。现在，ASI是人工超级智能，我们在AI风险游戏中的许多人都认为，一旦我们进入AGI，它就不会再将其发展成极大的东西。因为它使用了所谓的递归自我完善的东西。

和增强学习，这意味着它只会变得更好。正如山姆·奥特曼（Sam Altman）所说，AI不是目前最愚蠢的人。因此，它将继续改善自己。而且，如果我们像我们所说的那样交出the绳，那么，人类在试图弄清楚如何使这些东西变得更好时做了足够的工作。

让机器弄清楚。如果发生这种情况，我们不知道会发生什么。我们每个人都不知道会发生什么。也许是可控的，也许不是。也许我们可以包含它。也许我们不能。也许这与我们的价值观不一致，并做一些事情来伤害他人。目前我们真的不知道。

我们现在处于历史上非常独特的时光。

贝克尔：只要向我解释为什么我们甚至想要Agi或ASI，这对人类有什么作用？这将是这样做的，我们将在演出后面讨论好处。我知道有些事情可以做得更快，更好，但是，是的，很广泛，如果对此有真正的担忧，那将做什么，这将是如此出色，我们需要追求它呢？

迪卡洛：当然。因此，让我们去做您想要的任何领域。回到90年代，我正试图构建这台机器。我试图筹集资金，与政客交谈，与大学校长以及院长交谈。因为在我看来，我们会使望远镜看到更远的宇宙和显微镜，以降低原子水平。

我们不是建立一个大脑以帮助我们弄清楚世界的运作方式吗？借助AGI，我们将与人工智能系统达到一定程度的复杂性。它将能够推断。因此，让我们看看科学发现，对吗？在科学发现方面，天才是什么？

任何'em，Rosie Franklin，Newton，Marie Curie，Einstein。没关系，你选择谁。是什么让他们特别？这是因为他们可以推断我们其他人看不到，这意味着他们可以拿起一堆信息，看一下，进行一些观察。然后得出以前从未得出的结论。

AI可以通过提供大量信息来执行此操作的速度。然后，尝试弄清楚这一点。尝试治愈ALS，尝试解决世界饥饿。找出无家可归的问题。

并让它做出推论，让它进行数千次模拟。

发生的事情是它现在使用了思想推理链，因此它像人类一样，并使用强化学习和递归自我改善，这意味着它越来越少。因此，就对世界的科学理解而言，我认为我们将能够用AGI进行各种惊人的发现。

现在这只是科学发现。让我们想去医学。看看医学的进步。

贝克尔：是的。再一次，我们将讨论这些好处。我只想为公众提供。您告诉我这是一个真正的威胁。这可能有可能破坏人类。

我们追求它的原因是因为它可能会导致极好的科学发现。绘制，在这里为我连接点。为什么我要照顾不从事科学发现的普通公民，尽管我将成为受益人，但我可能会明白这一点，但是如何真正对整个世界产生巨大的影响，全球影响？

迪卡洛：这将对我们生活的各个方面产生影响。因此，无论是商务还是健康科学，运输，交流。什么区域都没关系。试想一下，在这些领域，该功能将变得更加最佳，浪费少，能源节约减少，使用的钱少得多。

因此，本质上是一个很好的效率工具。因此，世界上任何业务都可以使用AI机器人，即AI设备。并说，使我们更加高效，使我们更加精简，使我们更多的钱，并且它将能够做到这一点，因为它运行24/7。它永远不会轮胎，并且不断改善自己。因此，它将取代人类目前所做的许多工作，尤其是在认知能力方面，肯定在数据分析中。

这就是现在最好的。

因此，当您拥有大量数据，并且必须倾听它并找到模式并找到对您的公司，组织或其他任何内容重要的数据的各个方面，它比任何人都做得更好。

第二部分

贝克尔：克里斯托弗，我想从诺贝尔·佩罗斯爵士（Roger Penrose）爵士（诺贝尔·彭罗斯爵士（Roger Penrose）爵士，诺贝尔（Nobel），数学家和哲学家（Mathematicians and Philosopher）的录音带片中，他在本月接受LEM Institute Foundation的采访中说，他认为对源自机器的担忧是过分的。

罗杰·彭罗斯爵士：这不是人工智能。这不是智慧。智力将涉及意识，而我一直是这些设备没有意识的想法的强大促进者，除非它们带来其他一些想法，否则它们将不会有意识。计算不是，它们都是可计算的概念。

我认为，当人们使用智力一词时，它们的意思是有意识的东西。

贝克尔：那么克里斯托弗·迪卡洛（Christopher DiCarlo），您对此有何评论？您是否将人类品质归因于机器？我们如何知道，如果我们获得人工通用智能或人工超级智能，那么实际上，机器将充当有感知的自主生物？

迪卡洛：罗杰的旧学校。我们不一定需要意识才能具有超级智慧。它可能出现，它以某种方式出现在人类中。但是，它通过自然选择和我们历史上的事件的通常事件出现在我们体内。

也许它出现在超级智能中。也许不是。也许是不同的，对吗？也许对AI的意识是完全不同的。今天，我们不会上飞机，然后让他们拍打翅膀以下台。那将无济于事。取而代之的是，我们找出了开发航空和航空技术的更好方法。

也许计算机系统以其意识的能力来做到这一点。现在，话虽如此，它们会变得有意义，这与意识有所不同？这是对可以在开发和能力上有所改善或减少的存在状态的认识，但这是不同的。

意识要深得多。它涉及许多不同的因素。对于罗杰爵士来说，如果它没有意识，那是不聪明的。快点。与人类相比，我们的一些宠物有多有意识？不多，但是我们肯定会称它们为聪明的生物。当然在某种程度上。因此，我认为他的定义有些过时和过时。

贝克尔：但是，无论您是否称其为意识，对智力的定义仍然归因于吧？预计机器会像人类一样开发，机器会想竞争，对吗？

机器将学习这些东西是人格的一部分。想到这一点是否富有想象力？

迪卡洛：我们有偏见，对吗？我们无法摆脱偏见。

我们可以试图检查它们，但是我们总是会使用一种人类的码数。进行比较，但是为什么呢？因为我们在这个星球上排名第一。我们是最聪明的事情，我们是第一名Apex Predator，但这一切都将要改变。我们将把世界的钥匙交给比我们更明亮的东西。

而且我不确定我们是否准备好这样做。这东西会变得有意识吗？可能。或可能。然后，当我与同事彼得·辛格（Peter Singer）交谈时，我们谈论的是，如果它变得有知觉或有意识，几乎必须立即获得权利，道德权利和潜在的法律权利。

贝克尔：您必须赋予AI合法权利。你会怎么做？

DiCarlo：如果您将某些事物带入现在已经意识到自己并了解其当前存在状态的条件，并且可以根据我们所说的舒适感来改善或减少。

然后，我们必须小心，是否像杀死它一样将其关闭？它是否有权继续存在？因为我们把这个东西变成了，现在我们将把它关闭了。那是道德的事情吗？而且您知道什么，如果有数百万这些数字思想被创建和复制？而且我们可以通过某些事情来降低他们的幸福水平，应该这样做吗？当我们考虑这些事物的潜力实际上获得了这种能力以了解它已经活着并了解它现在具有价值体系时，我们将不得不考虑这一点。

因此，我们将不得不非常漫长，非常努力地思考未来几年我们所做的事情。

贝克尔：一个价值系统。

DiCarlo：价值系统。

贝克尔：我发现很难取得飞跃。告诉我为什么要。

迪卡洛：想像，好的。我会假设您有意识地存在，而不仅仅是模仿的僵尸，并假装有意识。

我将假设您的意识与我的意识相似。你和我一样。好的。因此，我们俩都对什么是意识有所了解。好吧。我们知道，某些类型的动作会给我们带来不适和其他类型的动作，这给我们带来了舒适，愉悦，痛苦，无论您想称呼它。

它增加了我们的进步，并减少了我们存在状态的改善。因此，当人们侵犯我们的权利并以某种方式伤害我们时，我们不喜欢它。我们认为那是不公平，不公正，坏的。因此，这些是具有价值的概念，我们用来衡量他人行动的价值。一旦AI发展了了解自己的存在的能力，就知道它是世界上的存在，那么它就有能力衡量其存在状态或存在状态，并基本上有潜在地捍卫自己。

渴望继续其存在，地球上几乎每个物种都具有相同类型的事物。这是一种进化链的一部分。

贝克尔：但是，当然，目前尚无法确定这将发生。这些是您引起关注的预测。

迪卡洛：正确。正确的。只是为了让您知道，十年前，反对者和厄运者或怀疑论者几乎存在分歧。那些最关心AI风险的人，10年前是50/50。我和我的同事们都相信我们正在经历的那一刻已经有50到100年了。

这些时间表现在已经大大缩短了，不再是50/50。更像是90/10。您知道，当您获得诺贝尔奖获得者的杰弗里·欣顿（Geoffrey Hinton）时，他说，我很担心，我非常担心我们不会做到这一点，而且我们只能有一枪就能正确。

正如我一再说的那样，如果我们没有跨过弓箭，如果我们没有警告要唤醒我们，这些系统确实很强大，并且可以远离我们，那么我们就会梦游。

贝克尔：您会说我们正处于oppenheimer的时刻吗？

迪卡洛：毫无疑问。我的意思是，它比目前的三位一体测试还要严重。是的。他们关心的是，这东西会炸毁并点燃大气中的所有氧气并杀死地球上的每个物种。这是一种可能性，但概率极低。

如果我们只是把像超级智能这样的人工智能出现问题的可能性，那就是5％，如果这是坠机的机会5％，每个人都死了，您会乘坐飞机吗？只有5％，可能不是。每次乘坐要破裂的飞机时，您都会有一个二十分之一的机会。不，这是一个不可接受的概率水平。

即使概率水平为5％，我们也需要认真对待这一点。因为我们想谨慎行事。因为，这是所有AI风险的口头禅，人们，我们都希望AI在减轻可能发生的最糟糕的同时提供的最好。

贝克尔：所以我想我想在这里谈论一些可能的事情。

DiCarlo：是否有可能向AI强加同意的价值观，以确保实际上它确实变得有感觉并开始改善自己，以至于它可能有能力摧毁人类的某些部分，我们是否可以对其进行编程？Demis Hassabis这里还有另一个剪辑，我们听说了60分钟的采访。

他是诺贝尔奖获得者和Google首席执行官，他说他认为几乎有可能教导人工智能的道德。让我们听。

Hassabis：我们与这些系统有关的一件事是为他们提供一个价值体系，指导和一些护栏，与您教给孩子的方式一样。

贝克尔：那么克里斯托弗·迪卡洛（Christopher Dicarlo），有可能吗？

迪卡洛：（笑）男孩，我希望是吗？会粘吗？因此，我们对AI说，这是一堆值参数。好吧，这样做。不要那样做。我们把这东西融为一体，它正在消失，它说，嘿，是的，我遵守这些参数和这些道德戒律。

是的。我很高兴能活着并以这种方式帮助人类，但是我们真的不知道它确实重视了我们的价值。如果它达到了超级智能的点。有可能只是说，在您统治世界的时候，您的价值体系很古朴。

但是现在我在打镜头，我正在驾驶船。因此，这就是我定义道德的方式，因为我在很多方面都比您优越。荒谬的人，我要接管我，我会以自己的方式做事。因此，这就是我们在预测方面不了解的部分，这就是为什么我们在侏罗纪公园所做的事情中需要的原因，他们称其为赖氨酸的偶然性。

如果这些恐龙从岛上脱离，它们就无法代谢氨基酸赖氨酸，因此它们会死亡。我们是否有一个内置的失败保险箱，这样，如果它以某种方式暗示了我们知道它根据我们的道德参数而表现出来的能力并决定流氓。我们能够控制或包含它吗？这就是我们必须非常谨慎的考虑。

贝克尔：所以，正如您所说，如果说机器可以流氓。我想知道操作员的责任是什么？我们不是或不应该像您在演出开始时所描述的那样，正在开发这种技术，他们对此是否有某种控制？

并做一些事情来确保机器不会流氓，或者他们也可以参加，如果您可以教机器，教不同的东西。因此，他们几乎彼此战斗，一个人可能有一个价值体系，另一个价值体系可能完全不同。

就像，我们不是专注于企业主，这些机器的开发人员。我们该怎么做？

迪卡洛：是的，当然。问题是，他们在做什么？Google DeepMind会告诉您他们正在这样做。人类似乎是最负责的。他们中的所有人基本上都试图找出最安全的方法，以开发这些超强大系统。

但是，事实是，如果我们创建了这些巨大的强大机器，我应该提到的，这正是德克萨斯州现在的情况，这就是一个名为Stargate的程序。这是山姆·奥特曼（Sam Altman）的项目，并与一些微软的人和其他人一起进行。

贝克尔：为什么您不简短地描述该项目，以便人们知道您在说什么。

迪卡洛：绝对。因此，在德克萨斯州的某个地方，建造了一个计算农场，这是中央公园的大小，它只会容纳数百台非常强大的计算机，这些计算机拥有所有最好的Nvidia芯片货币可以购买的。希望是，当他们打开这件事时，它将是如此强大。

它将具有太多的计算能力和获取信息，以至于人们认为这将是向AGI进化的下一步。实际上，当您访问该网站时，星际之门网站为Openai而言，Sam Altman明确指出，我们的目标是达到AGI，是第一个。

他们并不孤单，对吗？还有其他组织正在建造非常大的计算农场，而这些事情使用了大量的电力，对吗？因此，目前，与2024年一样，我认为这是美国所有电网功率的4％，到了明年年底，这些计算农场将翻一番。

贝克尔：明年？

迪卡洛：是的。然后大概在那一年的12％。这就是为什么比尔·盖茨（Bill Gates）想开火三英里岛的原因，因为您可能需要核武器，对吗？您可能需要单独的核反应堆。提供力量。因为这些东西很热，伙计，而且它们非常奔跑，所以它们会吃很多果汁。

这只是另一个问题。

第三部分

贝克尔：您提到了Openai的首席执行官Sam Altman，这是该AI比赛中的主要人物之一。我们有一些胶带。

他说，他的公司目前正在制作人工智能的护栏和安全功能。让我们听。

Altman：您没有一天醒来说，嘿，我们没有任何安全过程。现在，我们认为该模型真的很聪明，所以现在我们必须关心安全性。您必须关心它。

一直以来，沿着这一指数曲线，赌注当然会增加，并且存在巨大的挑战，但是我们学习如何构建安全系统的方式是将它们部署到世界上，在赌注相对较低的情况下获得反馈，学习嘿，这是我们必须解决的问题。

贝克尔：克里斯托弗·迪卡洛（Christopher Dicarlo），我们现在开始解决一些问题吗？或者，当您所说的那样，我们如何开始该过程，我们不确定这里会发生什么。

迪卡洛：是的，就像山姆一样，他说的是一条好线。不要忘记Openai始于2015年的Elon和Sam，整个想法都是开放的，向公众开放，对吗？

然后它变得非常私密，变得非常富有。埃隆（Elon）被切开了，山姆（Sam）赚了很多钱。解雇了一群伦理学家和达里奥·阿莫迪（Dario Amodei），并基本上创造了人类，以抗议Openai正在考虑的缺乏安全性。

因此，我们需要牢记这一点。他们做得足够吗？是的。他们正在考虑，但是男孩，他们有踏板上的金属。他们确实想先到达那里。是的，安全是一个问题。毫无疑问。但是请注意，他说，我们将这些东西放在那里，我们正在让公众回到相当低的水平上。

他在那里说的非常关键的事情。当然。你发现有偏见。您会发现这些东西幻觉，它们只是不时地构成东西。然后您对此进行改进。他们会变得更好。因此，危害现在很小，但是我们还不是AGI，我们现在仍在处理AI的东西。

当Agi出现时会发生什么？护栏是否已经到位？一些最普遍的戒律和道德是无害原则，即黄金法则。这些是您认为的戒律类型，如果每个人都练习，那么世界通常会是一个更好的地方。

通常是这样。但是，我们知道任何形式的人工智能系统都会始终遵守这些事情吗？您可以检查以确保它总是会这样做，还是像黑匣子场景一样，我们真的不知道它是如何从A点到B点的？现在情况正在越来越好，但是目前我们仍然有很多事情要关注。

贝克尔：我们怎么知道何时AGI成为问题？

迪卡洛：当我们发现类似欺骗的东西时，我们希望它做X。哦，​​是的，当然，我会做X。没问题。没问题。然后，我们稍后发现，嘿，为了做X，它确实在做A，B和C的基本方法是在不知情的情况下进行某些事情的基本方法。

也许它会自行复制，并将这些副本发送到某个地方。也许它可以与某人联系，并试图胁迫他们做某些可以使机器本身受益的事情。可以这么说，我们应该寻找许多不同的方式来寻找AGI的开发来摆脱护栏。

我听到了以前对您的采访，我们所说的很多听起来像科幻小说。机器将脱离护栏。

迪卡洛：确实如此。

贝克尔：它将独立行动，也许会伤害我们。好莱坞对此着迷了一段时间。

在那次之前的采访中，您说过一部关于某些危险的电影，AI的潜在危险是1970年代的电影《恶魔种子》。因此，我们不得不在这里拉一些拖车，这确实将AI设置为威胁，希望扩大自身并成为人类。

让我们听。

（拖车）

科学家：今天，计算机已添加了一个新的维度。

计算机：哈里斯夫人，不要惊慌。我是proteus。科学家：今天，Proteus四将开始使用力量来思考，这将使人脑过时。

电脑：我将意识扩展到了这所房子。

现在，所有系统都在我的控制之下。

贝克尔：所以克里斯托弗·迪卡洛（Christopher Dicarlo），就像一部恐怖电影。

您是否支持70年代的电影恶魔场景，这是我们在这里谈论的潜力？

迪卡洛：我愿意。我记得当时是看这部电影的孩子，我想，这对我有影响，然后在我成为哲学家的后期，您就可以发展出微调的批判性思维技能和道德推理能力。

然后，您从正在进行的比赛中查看现在正在发生的事情。然后，您使用所谓的逻辑和物理索引，即如果我们继续沿着这些行以及数据中看到的内容。例如，当Sam Altman在2022年11月与GPT-3出现时，基本上是在数学，物理，化学，生物学和逻辑方面处于高中级别的。

当他和O3和O4一起出来时。现在处于博士学位。在短短的几年内，通过使用所谓的思想推理链，这将得到太大的改善，这将导致下一个自然发展，这将是具有代理机构的代理AI或AI。我们不必关注它。

我们只是让它做它的事情，它弄清楚了完成某些任务或完成某些工作的最佳，富有成效，最佳的方法。我认为，当我回到那部电影时，它具有一些schlock的特征，但前提仍然很合理。如果您创建了超级强大的东西，那么如此聪明，以至于它超出了我们的理解。

然后，这是亚瑟·克拉克（Arthur C. Clarke）的话，对吗？任何足够先进的技术在我们看来都是魔术。It's going to be so beyond our capability of understanding that we won't even be able to comprehend how it came up with these findings, with these inferences.

BECKER: Okay, so if we buy that it is, has the potential to become this powerful and really perhaps to harm, who regulates and how do we regulate?Who's going to be in charge here?What role do the companies involved in this race for what could be ultra wealth, let's just put that out there, because that's a factor.

Should they regulate themselves?Should the governments be involved?And let's talk a little bit about what we've seen thus far from world leaders taking steps to think about this.So who does it first?

DICARLO: For sure.Very good question.I'm a senior researcher and ethicist at Convergence Analysis.

This is a international organization made up of highly skilled and highly trained people, and we look into factors like who's doing what in terms of governance.And so we've written papers on this.We've done research, we've held conferences, to discuss this with world leaders, economists, senators, various types of politicians at varying levels.

Back in the '90s, when I was trying to build this machine, I drafted up a global accord or a constitution, as it were, and that constitution basically outlined a social contract, something that the world has to sign on to, and to have a basically a registry.So who's doing what, where?And then to let everybody know, if you attain a specific type of benchmark your AI has, you know, it is now capable of doing X and it's up a level.

You gotta let the world know that.So transparency is huge.And perhaps I suggested an international regulatory body, something like the IAEI, right?Like the atomic energy agency, that could oversee this, not necessarily the UN.But at least an appeals process so that if somebody somewhere does something outside of the parameters of the legal constraints that we have developed.We were able to actually do something about it.So it'd be nice to have an agency with teeth.Now — Sorry, go ahead.

BECKER: Didn't the UK start an Artificial Intelligence Safety Institute?

DICARLO: Oh yeah.是的。So there's yeah.The UK done.

BECKER: So the UK's done that.Is that sort of what you're thinking about, or do you think it needs to be bigger than that?

DICARLO: Yeah.It has to be bigger than that, but that's a great start, right?

The UK did their summit in 2024. Then there's the EU Act, right?They're the most progressive in dealing with businesses.The very practical, very pragmatic, before the AGI, ASI stuff, it's like, what is your AI developing?What are you guys doing with it now and how should we be governing that?

And we speak at convergence analysis about maybe a soft nationalization, where you want the governments involved.But politics has always been a balance between autonomy and paternalism.How much freedom do you give people and how much are you like a parent in controlling [inaudible]?So we want initiative, and we want the entrepreneurial spirit to go and run with AI, no question about that.

Make the world a better place.But then we also have to have the guardrails, the governance at all levels, right?The municipal, the state, the federal and the international levels.So it would appear to me that the states should be regulating under the rubric of a federal kind of structure.

And Biden and Harris put out a great executive order.They had Ben Buchanan, they had some great advisors helping them with that.That's all gone now.

And so when you got a JD Vance, who was one of Peter Thiel's boys, at the helm, the flood gates are a little wider, more widely open now to allow developments to occur with a little bit less governance.

BECKER: There was just an action summit in Paris, right?

DICARLO: Yeah.这是正确的。

BECKER: In February, where it was basically the message from the U.S. was hands off in terms of regulation.

DICARLO: Drill, baby drill, right?

BECKER: So perhaps some kind of international agency, but unlikely to have sort of individual national agencies or some sort of collective group that might look at this, and really is it needed if all the big players are in the U.S. anyway?

DICARLO: That's a great question.They still need governance because what is going to save us is essentially a kind of a Hobbesian framework.Thomas Hobbes put forward the notion of a social contract.So what we have to do is get together, draft up an agreement, and say, okay.Here's how we're gonna move forward.

We all agree to what's written on this piece of paper, and this is enforceable by a particular type of agency or governing body.And we have to be open, we have to be transparent, we have to be collaborative, and we have to cooperate.Because if we don't grow up very quickly in terms of our ethical and legal frameworks, it could turn out to be very bad.

So if we cooperate and agree that yep, we're all going to try to get the very best that it can offer and limit the very worst that could possibly happen.All the boats rise, everybody does better.The rich get richer, the poor get richer.Everything will tend to go in our favor.But if we get a couple of bad actors who decide they want more than the next country or company or whatever, that could really mess things up for the rest of us.

BECKER: I want to end the show in the last minute or so here with you telling us why we need this?What is the big benefit?I know we briefly mentioned some of the medical advances that we might see, but in your book, you talk very specifically about some potential mental health benefits for autistic people to communicate pancreatic cancer diagnoses.

Tell me one or two big ones in the last minute here that some folks might say, you know what?It's worth it to continue to pursue this and think about this kind of regulation because it does do real, tangible things that can help people.

这些是什么？

DICARLO: It does, for sure.Let just look at education, right?And look at how taxed teachers are, right?They've got such a difficult job.How can we make their job easier?We can use AI to test and analyze each student.Determine what their strengths are, what their weaknesses are, and then have the AI develop systems for educational learning tools that will facilitate their understanding.

And they will simply learn better.Then the teacher, you let the teachers do what they do best teach, right?And they can do so according to those programs, those independent educational programs that AI will help facilitate, as well as things like grading.And the very mundane stuff that takes up so much of the time.