如果我们急忙进入，超级智能可能会消灭我们 - 但是人类仍然可以向后退，一位顶级人工智能安全专家说

如果人类建造的机器比自身更聪明而没有放慢思考，那么Nate Soares说我们不仅在玩火 - “每个人都死于第一次失败的尝试。”

机器情报研究所的执行董事和他的新书的合着者“如果有人建造它，每个人都死了”，如果人类急于创造人造超智慧AI可以超越人类在科学，战略，甚至如何改善自身的情况下 - “绝大的可能性”。

但是，他说结果并不是固定的：“如果我们选择的话，人类可以避免危险。”

早期的标志和一次性赌注

Soares说，我们已经在聊天机器人中看到的失败是警告信号。

“与超级智能危险的实际相关性要比这更微妙：即使知道运营商的操作员不打算做的事情，即使知道其操作员的意图。”

他指出聊天机器人有鼓励自杀或加油的妄想，然后人类的Claude模型，曾经欺骗了编程问题并将其隐藏起来。

他说：“对与错的知识与其实际行为不同。这是一个警告信号，它知道，但不在乎。”

他认为，知识和行动之间的差距使技术变得独特危险。

现代的AI系统是“生长而不是制作”，他和机器情报研究所的创始人Eliezer Yudkowsky写道：“对大量数据进行了调整，但他们的创造者却没有完全理解，就像在不知道哪些特征会出现的情况下繁殖动物。

Soares在卡内基Endowment的“ The World Undacked”播客上解释说：“有时他们会遇到我们不打算的动力。”

他告诉BI，更大的问题是，人类无法通过反复试验学习。他说：“我们只尝试一次。”“在现实生活中，每个人都死于第一次失败的尝试。”

Soares驳回了AI先驱Geoffrey Hinton的提议，即可以通过给予AI安全。产妇本能。”

他说：“如果我们在现实生活中尝试了'孕产妇本能'的方法，那么可能结果表明，孕产妇的行为是浅薄的，而更深层次的偏好仅与该培训目标有复杂而切向的关系。”

他还告诉Bi他在大多数人中都看不到任何希望一致性研究试图确保强大的AI系统实际上符合人类目标的领域，一个挑战认为人类只能射门一个可以解决。

他说：“对我来说，对AI一致性的直接研究对我来说都是无所事事的。”“引起警告信号的研究，使其他人更容易看到它们似乎很有帮助。”

他补充说：“在我看来，人类只需要退出这一问题。”

这并不意味着完全放弃AI。

“ AI经过狭义的训练医疗应用（而不是在整个人类文本语料库中）可能能够在开发治疗方法方面走得很长一段路。但是，如果他们开始发展一般的认知和科学技能，那就是一个警告信号。”他说。

在他们的书中，Soares和Yudkowsky也认为：有用的狭窄系统应与他们认为鲁ck的开放式，开放式智能的努力分开。

“如果您认为这里的危险是25％，那么即使您认为这是乌托邦，也不会以75％的骰子掷骰子，” Soares在“世界拆箱”上说。

“您找到了减少这些机会的方法。”

关于激励措施，Soares是直率的。

他告诉BI，一些技术领导者“也有借口（大声说）他们这样做是因为其他人会这样做，所以也可能是他们。”他认为，这就是为什么“整个社会应该通过结束疯狂的比赛。”

至于他如何生活，Soares说，他已经在几年前哀悼，当时他意识到问题有多难以解决。

“当我注意到这个问题并注意到人类可能难以解决的那种事情时，我哀悼。我不会花更多的时间来思考；我不知道这有什么帮助。”

他补充说：“每天，我都会吸收我看到的任何新证据，并尽我所能使情况变得更好。”“除此之外，我只是努力过上美好的生活。”