“危险命题”：顶级科学家警告控制AI
作者：Arjun Kharpal
Yoshua Bengio（L）和Max Tegmark（R）讨论了2025年1月在瑞士Davos的CNBC的现场播客录音中，人工通用情报的发展。CNBC
世界两位最杰出的AI科学家告诉CNBC，类似“代理人”的人工通用情报可能会被证明是危险的，因为其创建者可能会失去对系统的控制。
在CNBC的最新一集中
“超越山谷”播客于周二发布，马萨诸塞州理工学院的教授和生命研究所的主席Max Tegmark和Yoshua Bengio被称为“ AI的教父”之一，也是大学的一位教授，谈到他们对人工通用智能或AGI的担忧。该术语广泛地指的是比人类更聪明的AI系统。
他们的恐惧源于现在谈论“ AI代理人”或“代理AI”的世界上最大的公司，这些公司声称这些公司将允许AI聊天机器人像助手或代理商一样行事，并协助工作和日常生活。行业估计的AGI何时出现。
据本吉奥说，有了这个概念，即AI系统可以拥有一些“代理”和自己的想法。
“ AI的研究人员受到人类智能的启发来建立机器智能，在人类中，既可以理解纯粹的智力和攻击行为等世界的能力，这意味着...利用您的知识来实现目标，“ Bengio告诉CNBC的“超越山谷”。
“目前，这就是我们正在建立AGI的方式：我们正在努力使他们对世界有很多了解，然后可以采取相应的行动。但这实际上是一个非常危险的主张。”
Bengio补充说，追求这种方法就像“在这个星球上创建新物种或新的智能实体”，并且“不知道他们是否会以同意我们需求的方式行事”。
“因此，我们可以考虑，事情发生了什么情况，它们都依靠代理？换句话说，这是因为AI有自己的目标，我们可能会遇到麻烦。”
班吉奥说，随着人工智能变得更加聪明，自我保护的想法也可以发挥作用。
“我们是否想与比我们更聪明的实体进行竞争？这不是一个令人放心的赌博，对吗？因此，我们必须了解自我保护能够成为AI的目标。”
AI工具关键
对于麻省理工学院的Tegmark而言，关键在于为特定的，定义狭窄的目的而创建的所谓“工具AI”系统，但不必是代理。
Tegmark说，AI工具可以是告诉您如何治愈癌症的系统，或者拥有“某些代理”（例如自动驾驶汽车）的东西，您可以证明或获得一些非常高，真正可靠的保证将能够控制它。”
Tegmark说：“我认为，以乐观的态度，我们几乎可以对AI感到兴奋……如果我们只是坚持在人们销售强大的AI系统之前坚持一些基本的安全标准。”
“他们必须证明我们可以控制他们。那么，该行业将迅速创新，以弄清楚如何做得更好。”
Tegmark在2023年的生命研究所的未来，呼吁建立可以与人类水平智能竞争的AI系统的发展。Tegmark说，虽然这没有发生，人们正在谈论这个话题，现在是时候采取行动来弄清楚如何将护栏置于适当的位置来控制AGI了。
Tegmark告诉CNBC的“超越山谷”。
“在我们弄清楚如何控制它之前，对我们人类制造比我们更聪明的东西显然是疯狂的。”
关于AGI何时到达的观点有几种观点，部分是由不同定义驱动的。
Openai首席执行官Sam Altman表示，他的公司知道如何建造AGI，并表示将比人们想象的要早，尽管他淡化了该技术的影响。
“我的猜测是，我们会比世界上大多数人想象的要早，这将重要，”说在十二月。
关于《“危险命题”：顶级科学家警告控制AI》的评论
暂无评论