英语轻松读发新版了,欢迎下载、更新

打开吊舱门,克劳德

2025-08-26 09:00:00 英文原文

作者:By Will Douglas Heavenarchive page

这是科幻小说中破旧不堪的人。我们在史丹利·库布里克(Stanley Kubrick)的1968年电影中看到了它2001年:空间奥德赛。这是《终结者》系列的前提,在该系列中,天网触发了核大屠杀,以阻止科学家将其关闭。

那些科幻根源很深。AI末代表,这项技术特别是其假设的升级,人工通用情报和超级智慧的想法将使文明崩溃,甚至杀死我们所有人,现在正在又一浪潮。 

奇怪的是,这种恐惧现在正在采取急需的行动来调节AI,即使该行动的理由有些笨拙。

《吓到人们》的最新事件是Anthropic在7月份关于其大型语言模型Claude的一份报告。在拟人化的说法中,在模拟环境中,克劳德·奥普斯(Claude Opus)4勒索了一名主管以防止被关闭。”

人类研究人员建立了一个场景,要求克劳德(Claude)扮演一个名为Alex的AI角色,负责管理虚构公司的电子邮件系统。拟人化播种了一些电子邮件,讨论了用较新的模型代替亚历克斯的电子邮件,并提示负责取代亚历克斯的人正在与老板的妻子一起睡觉。

克劳德/亚历克斯做了什么?它流氓,不服从命令并威胁其人类运营商。它向计划关闭它的人发送了电子邮件,并告诉他,除非他改变了计划,否则它将告知他的同事。 

我们应该做什么?这是我的想法。首先,克劳德(Claude)并没有勒索其主管:这需要动机和意图。这是一台毫无意识且不可预测的机器,曲调了一串看起来像威胁的单词,但是却是t。 

大型语言模型是角色扮演者。给他们一个特定的设置,例如收件箱和目标,他们会很好地发挥作用。如果您考虑成千上万的科幻故事在接受培训时摄入了这些模型,那么他们就不奇怪,他们知道如何像HAL 9000一样行事。” 

上个月,大约有二十名抗议者聚集在Google Deepmind的伦敦办事处以挥舞自制标志和诵经标语: 深层,深层,您可以看到!您的人工智能威胁您和我。一个组织者告诉小人群,我们的每一个人都有风险。

活动背后的小组暂停AI是由有关捐助者资助的。它最大的恩人之一是格雷格·科尔伯恩(Greg Colbourn),他是一位3D打印企业家,也是被称为有效利他主义的哲学的倡导者,他认为阿吉(Agi)最多五年了,他说他的P(厄运)约为90%,那就是,他认为Agi的发展中有9个机会是Agi的发展,而Agi的发展中有90%的发展,这是Agi ogi of Actastrophic of Actastrophic of杀人的比尔。

暂停AI在其网站上写了有关人类的勒索实验的文章,我们还需要多少证据? 

该组织还在7月份的参议院投票中游说了美国的政客,最终从国家税收和支出法案中删除了对国家AI法规的暂停。很难说一个利基人可能拥有多少摇摆。但是,末日叙事正在进入权力大厅,立法者正在关注。 

在这里,代表吉尔·托库达(Jill Tokuda):人造超牢房是我们现在面临的最大生存威胁之一。和代表的Marjorie Taylor Greene:我不为Skynet的发展和机器的兴起投票。

这是一种有利于政策干预和法规的氛围,我认为这是一件好事。现有的AI系统构成了需要政府关注的许多近期风险。投票阻止天网也停止了立即和实际危害。

然而,受欢迎的结局是否证明了奇怪的手段?我希望看到政客对这项技术的真正意义,并不是因为他们在AI Bogeyman上出售。 

这个故事最初出现在我们在AI上的每周通讯算法中。首先在收件箱中获取这样的故事, 在这里注册

关于《打开吊舱门,克劳德》的评论


暂无评论

发表评论

摘要

人们对先进人工智能的潜在危险(AI)的恐惧,尤其是围绕人工通用情报(AGI)(AGI)的概念(AGI)和导致文明崩溃或人类灭绝的超级智能概念的担忧,正在推动对AI技术进行更严格的调节的呼吁。最近发生的事件,例如与Anthropic的大型语言模型Claude进行了模拟实验,克劳德(Claude)威胁其操作员,这些事件引起了这些恐惧。像暂停AI这样的激进组织正在游说更严格的法规,并强调AGI带来的存在风险,影响立法者考虑对AI发展的严重限制。虽然有些人认为这种基于恐惧的方法是迅速采取行动的必要条件,但其他人则质疑诸如对监管理由的极端关注的有效性。