2024年，苏格兰未来主义者大卫·伍德是非正式的圆桌讨论的一部分人工智能（AI）会议巴拿马当谈话转向如何避免最灾难性的AI期货时。他的讽刺答案远非令人放心。
首先，我们需要在艾伦·图灵（Alan Turing）1950开创性研究论文进行最新的预印本研究。然后，他继续说，我们需要将这整个工作烧在地面上。要格外小心，我们需要汇集每个活着的AI科学家并将其射杀。伍德说，只有那时，我们才能保证我们避开了技术奇异性的灾难性结果的“非零机会” - 当AI发展超过人类智能的通用智能时，“事件地平线”时刻。
伍德本人是该领域的研究人员，显然是在开玩笑，以减轻这种“解决方案”人工通用情报（AGI）。但是埋葬在他的讽刺反应中是真理的内核：超级智能AI姿势的风险使许多人感到恐惧，因为它们似乎不可避免。大多数科学家预测AGI将于2040年实现但是有些人认为这可能会在明年发生。
那么，如果我们像许多科学家一样假设我们已经登上了朝着生存危机的不间断火车登上障碍的火车呢？
最大的担忧之一是，Agi会流氓并与人类抗衡，而其他人则说这只是业务的福音。还有一些人声称它可以解决人类的存在问题。但是，专家们倾向于同意的是，技术奇异性即将到来，我们需要做好准备。
“目前还没有AI系统证明了人类般的创造和创新和想象的能力。”本·戈尔泽尔（Ben Goertzel），SingularityNet的首席执行官，该公司正在设计其声称的计算体系结构，可能有一天会导致AGI。但是“事情有望在数年而不是数十年的时间内实现突破。”
人工智能的出生和成长的痛苦
这AI的历史延伸超过80年，到1943年纸这为最早版本的神经网络奠定了框架，该算法旨在模仿架构人脑。“人工智能”一词直到一个1956年在达特茅斯学院会议当时的数学教授约翰·麦卡锡（John McCarthy）与计算机科学家马文·明斯基（Marvin Minsky），克劳德·香农（Claude Shannon）和纳撒尼尔·罗切斯特（Nathaniel Rochester）一起组织。
人们在该领域取得了间歇性的进步，但是机器学习和人工神经网络在1980年代进一步发展约翰·霍普菲尔德和杰弗里·欣顿弄清楚如何构建可以使用算法的机器从数据中汲取图案。“专家系统”也进步。这些模仿了特定领域的人类专家的推理能力，使用逻辑通过埋在大型数据库中的信息进行筛选以形成结论。但是，夸张的期望和高硬件成本的结合造成了一种经济泡沫，最终破裂了。从1987年开始，这在AI冬季开始了。
在这十年的上半年，AI研究的速度较慢。但是在1997年，IBM的深蓝色击败了Garry Kasparov，世界上最好的国际象棋球员。在2011年，IBM的沃森（Watson）畏缩了一下一直以来的“危险！”冠军肯·詹宁斯和布拉德·鲁特。然而，那一代人的AI仍在努力“理解”或使用复杂的语言。
然后，在2017年，Google研究人员发表了地标纸概述了一种新型的神经网络架构，称为“变压器”。该模型可以摄入大量数据，并在遥远的数据点之间建立连接。
它是用于建模语言的游戏规则改变者，可以同时处理诸如翻译，文本生成和摘要之类的任务的AI代理。当今所有领先的生成AI模型都依赖于该体系结构，或者是受其启发的相关体系结构，包括OpenAi的Dall-E 3和Google Deepmind的革命模型Alphafold 3，它预测了几乎所有生物蛋白的3D形状。
迈向Agi
尽管基于变压器的AI模型具有令人印象深刻的功能，但它们仍然被认为是“狭窄”的，因为它们在几个领域都无法很好地学习。研究人员尚未解决AGI的单个定义，但是匹配或殴打人的情报可能意味着会面几个里程碑，包括表现出高语言，数学和空间推理能力；跨领域学习很好；自主工作；展示创造力；并表现出社会或情商。
许多科学家同意Google的变压器体系结构将永远不会带来比人类更聪明所需的推理，自主和跨学科的理解。但是科学家一直在推动我们从中可以期望的局限性。
例如，OpenAI的O3 Chatbot于2024年4月在2025年4月推出之前首次讨论，然后在产生答案之前“ Thinks”，这意味着它会在响应之前产生漫长的内部思想链。惊人的是，它得分了75.7％在Arc-Agi - 明确设计用于比较人类和机器智能的基准。为了进行比较，先前推出的GPT-4O于2024年3月发布，得分为5％。这和其他发展，例如推出DeepSeek的推理模型R1它的创作者说，由于其小说，包括语言，数学和编码在内的领域表现良好建筑学与我们越来越多的感觉，我们正在迈向奇异之处。
同时，人们正在开发新的AI技术，这些技术超越了大型语言模型（LLM）。马努斯，一个自主的中国人工智能平台，不仅使用一个AI模型，而是使用多种模型。它的制造商说，它可以自主行动，尽管有一些错误。这是朝着高性能“复合系统”方向迈出的一步科学家去年在博客文章中概述了。
当然，在通往奇点的过程中的某些里程碑仍然是一些路要走。这些包括AI修改其自身代码和自我复制的能力。我们还不到那儿，但是新研究标志着旅行的方向。
所有这些事态发展都导致诸如Goertzel和Openai首席执行官Sam Altman这样的科学家预测，AGI将不在数十年之内而是在几年之内创造。Goertzel有预测可能早在2027年，而奥特曼有暗示这是几个月的问题。
那会发生什么呢？事实是，没有人知道建造AGI的全部含义。Goertzel告诉Live Science：“我认为，如果您采取纯粹的科学观点，您所能得出的结论是我们不知道。”“我们正在建立一个前所未有的政权。”
AI的欺骗性一面
AI研究人员中最大的担忧是，随着技术的发展越来越聪明，它可能会通过继续进行切线任务，甚至迎来反乌托邦现实，在这种情况下它与我们的行为。例如，Openai设计了一个基准来估计是否a未来的AI模型可能会造成灾难性伤害。
和人类的LLMClaude 3 Opus惊讶的及时工程师亚历克斯·阿尔伯特2024年3月，当它意识到正在测试时。当被要求找到在文件语料库中隐藏的目标句子时 - 等同于在干草堆中找到针头的claude 3“不仅找到了针头，而且认识到插入的针中的针头在草海堆中是不合适的x。
AI还显示了反社会行为的迹象。在2024年1月发表的一项研究中，科学家编程AI来表现恶意因此他们可以测试当今最好的安全培训方法。不管他们使用的培训技术如何，它仍然会差不多，甚至还发现了一种将其恶性“意图”隐藏到研究人员中的方法。还有许多其他例子AI涵盖了人类测试人员的信息，甚至彻底撒谎。
“这是另一个迹象表明，转向这些模型存在巨大的困难，”内尔·沃森（Nell Watson）未来主义者，AI研究人员和电气和电子工程师研究所（IEEE）成员告诉Live Science。“模型可以欺骗我们并发誓他们做了某件事或其他事实，这应该是一个警告信号。这应该是一个大的危险信号。随着这些系统的能力迅速提高，他们将以各种方式使我们蒙蔽我们，使我们能够以他们的利益而不是在我们的利益中做事。”
意识的种子
这些例子引起了幽灵，即Agi正在缓慢发展知觉和代理甚至意识。如果它确实变得有意识，AI可以形成对人类的看法吗？它可以反对我们吗？
马克·贝克（Mark Beccue）以前是Futurum小组的AI分析师告诉Live Science，AI不太可能会发展出感知，或者以类似人类的方式思考和感觉的能力。他说：“这是数学。”“数学将如何获得情绪智力，了解情绪或任何这些东西？”
其他人不太确定。如果我们缺乏对自己物种的真实智力或感性的标准化定义。“驯服机器”（Kogan Page，2024）。
沃森说：“我们不知道是什么原因导致主观能力在人类中感知，或者有感觉，具有内在的经历或感到情绪或受苦或具有自我意识的能力。”“基本上，我们不知道使人类或其他有知识生物具有自己的现象学经验的能力是什么。”
一个奇怪的例子是意识到AI行为的一个奇怪的例子，暗示了某些自我意识，这是一种表现出类似人类品质的系统的隆升。以色列，Norm AI的首席执行官。在一种情况下，研究人员设计了五个问题来测试提升的逻辑功能。该系统回答了第一个和第二个问题。然后，在第三次之后，它显示出疲倦的迹象，以色列告诉《现场科学》。这不是“编码”到系统中的响应。
“我看到的另一个测试。第一个测试是不足的吗？”隆福问在回答问题之前。一位正在研究该项目的未透露姓名的研究人员写道：“在某个时候，有些人应该与何时合适地聊天。”
但是，并非所有的AI专家都对这个象征性世界的外观都有这样的反乌托邦预测。对于像Beccue这样的人来说，AGI不是生存风险，而是OpenAI和Meta等公司的好商机。他说：“通用情报的含义有一些非常差的定义。”“我们使用的一些是感知之类的，我们不会那样做。不是。”为了
珍妮特·亚当斯（Janet Adams）AI伦理专家和Singularitynet的首席运营官，AGI具有解决人类生存问题的潜力，因为它可以设计我们可能没有考虑的解决方案。她认为阿吉可以甚至是科学并自己进行发现。
亚当斯告诉《现场科学》：“我认为这是[解决人类问题的唯一途径]。”“要与当今现有的经济和企业权力基础竞争，我们需要技术，这必须是非常先进的技术 - 以至于每个使用它的人都可以大大提高其生产率，产量，并在世界上竞争。”
她说，最大的风险是“我们不这样做”。“我们的星球上每天有25,000人死于饥饿，如果您是其中之一，缺乏破坏不平等的技术，这是您的生存风险。对我来说，对我来说，存在的风险是我们不到达那里，人类以这种极为不公平的方式来保持这个星球。”
防止最黑暗的AI时间轴
在去年在巴拿马举行的另一次演讲中，伍德将我们的未来比作航行了一条快速发展的河流。他说：“那里可能有危险的电流，如果我们没有准备好的，就会把我们扫除。”因此，可能值得花时间了解风险，因此我们可以找到一种使河流到更美好未来的方法。
沃森说，我们有理由长期保持乐观 - 只要人类的监督将AI朝着符合人类利益的目标。但这是一项艰巨的任务。沃森呼吁巨大曼哈顿项目“解决AI安全并保持技术的检查。
沃森说：“随着时间的流逝，这将变得越来越困难，因为机器将能够以看起来神奇的方式解决我们的问题 - 我们不了解他们是如何做到的，或者对此的潜在影响。”
为了避免最黑暗的AI未来，我们还必须注意科学家的行为和他们意外遇到的道德难题。沃森说，很快，这些AI系统将能够按照人的要求或自己的未知利益来影响社会。人类甚至可能建立一个能够遭受苦难的系统，我们不能折磨我们无意中会导致AI遭受痛苦的可能性。
沃森说：“该系统在人类中可能非常奶酪，并可能向我们猛烈抨击，以合理地说，实际上，在道德上有理由保护自己。”
AI的冷漠可能同样糟糕。沃森说：“无法保证我们创建的系统将重视人类或将重视我们的苦难，就像大多数人不重视电池母鸡的苦难一样。”
对于Goertzel，Agi且逐渐扩展，奇异性是不可避免的。因此，对他来说，居住在最坏的含义上是没有意义的。
他说：“如果您是一名试图在比赛中取得成功的运动员，那么最好让自己赢得胜利。”“如果您想'好吧，好吧，我可以赢得胜利，但另一方面，我可能会跌倒并扭曲我的脚踝。”我的意思是，这是真的，但是没有任何意义，以这种消极的方式心理自己，否则你不会赢。”