技术进步可以让我们兴奋，政治可以激怒我们，战争可以动员我们。但面对人类灭绝的危险人工智能的兴起正因如此，我们仍然出奇地被动。部分原因可能是因为似乎没有解决方案。这是我想挑战的想法。
人工智能的能力正在不断提高。自发布以来聊天GPT两年前，数千亿美元已涌入人工智能领域。这些共同努力可能会带来通用人工智能（AGI），其中机器可能具有类似人类的认知能力短短几年内。
数百名人工智能科学家思考一旦人工智能变得过于强大，我们可能会失去对它的控制，这可能会导致人类灭绝。那么我们能做什么呢？
阅读更多：唐纳德·特朗普的胜利对人工智能意味着什么
人工智能的存在风险常常被描述为极其复杂。一个2018年论文例如，将安全的人类水平人工智能的开发称为“超级邪恶的问题”。这种感知到的困难与提出的解决方案有很大关系。人工智能对齐，这需要让超人人工智能按照人类价值观行事。然而，人工智能对齐从一开始就是一个有问题的解决方案。
首先，对齐方面的科学进步比人工智能本身的进步要慢得多。其次，超级智能应遵循哪些价值观这一哲学问题令人难以置信。第三，即使成功，协调是否能成为人工智能存在风险的解决方案，这一点并不明显。拥有一个友好的人工智能并不一定会阻止其他不友好的人工智能。
由于这些问题，许多人敦促科技公司不要构建任何人类可能失去控制的人工智能。有些人走得更远；有些人走得更远；有些人走得更远。PauseAI 等激进组织确实建议的一项将暂停全球发展的国际条约。
许多人认为这在政治上不可接受，因为 AGI 的缺失部分可能还需要很长时间才能得到填补。当这项技术也可以做很多好事时，我们是否已经必须暂停了？Meta 的人工智能主管、著名的存在风险怀疑论者 Yann Lecun，说存在风险的争论就像“担心 1920 年涡轮喷气发动机的安全”。
另一方面，技术可以实现跨越式发展。如果我们取得另一个突破，例如变压器2017 年的一项创新帮助推出了现代大型语言模型，也许我们可以在几个月的训练时间内达到 AGI。这就是为什么在此之前需要建立监管框架。
幸运的是，诺贝尔奖获得者 杰弗里·辛顿、图灵奖得主 Yoshua Bengio 等许多人都提供了部分解决方案。在发表于的政策文件中科学今年早些时候，他们受到推崇的“如果-那么承诺”：如果在前沿人工智能系统中发现红线功能，则承诺将被激活。
在他们的工作基础上，我们在非营利性存在风险观察站提出了一项有条件的人工智能安全条约。该条约的签署国（至少应包括美国和中国）将同意，一旦我们太接近失去控制，他们将停止其境内任何可能不安全的训练。一旦最强大的国家签署了该条约，核查彼此的遵守情况并确保无法控制的人工智能其他地方也没有建造。
一个悬而未决的问题是，人工智能能力在什么时候会接近失控。我们建议将此问题委托给人工智能安全研究所设置在英国.,我们.,中国， 和其他国家。他们拥有专门的模型评估专业知识，可以进一步开发这些知识来回答这个关键问题。此外，这些机构是公共的，使其独立于大多数私人的人工智能开发实验室。距离失去控制有多近的问题仍然很困难，但需要有人回答这个问题，而人工智能安全研究所最有能力这样做。
根据有条件的人工智能安全条约，我们基本上仍然可以享受人工智能的好处。目前所有AI都远低于失控水平，因此不会受到影响。未来适用于单一任务（例如气候建模或寻找新药物）的狭义人工智能也将不受影响。如果实验室能够向监管机构证明他们的模型每年失控风险低于 0.002%（即安全我们接受的核反应堆阈值）。其他人工智能思想家，例如麻省理工学院教授马克斯·泰格马克、猜想CEO康纳·莱希、ControlAI 总监安德里亚·米奥蒂，正在朝着类似的方向思考。
幸运的是，许多与当选总统唐纳德·特朗普关系密切的人都认识到人工智能带来的生存风险。他的女儿伊万卡似乎看到问题的紧迫性。埃隆·马斯克 (Elon Musk) 是特朗普的重要支持者直言不讳关于多年来的文明风险，以及最近支持加州立法推动人工智能安全测试。就连右翼塔克·卡尔森（Tucker Carlson）在他发表讲话时也提供了常识性评论。说：——所以我不知道为什么我们袖手旁观并允许这种情况发生，如果我们真的相信它会消灭人类或奴役人类。就像，这怎么能好呢？——就特朗普而言，他已经表示关切也关于人工智能带来的风险。
有条件的人工智能安全条约可以为人工智能的生存风险提供解决方案，同时不会不必要地阻碍人工智能目前的发展。让中国和其他国家接受并执行该条约无疑将是一个重大的地缘政治挑战，但也许特朗普政府正是克服这一挑战所需要的。
我们面临的最棘手问题之一——人工智能的生存风险——确实存在解决方案。是让这一切发生，还是继续走上人类可能灭绝的道路，取决于我们自己。