问答：东湾AI安全专家谈论了该技术的未来

当加利福尼亚州州长加文·纽瑟姆（Gavin Newsom）否决了SB 1047年的一项规范人工智能技术的州法案时，红木研究首席执行官巴克·什里格利斯（Buck Shlegeris）愤怒，对州长对人工智能的危险的无视。

Shlegeris说：``我认为Newsom以相当可耻的方式引起了他的大捐助者和其他业务支持者的利益。”SB 1047得到了大多数受到调查的加利福尼亚人的支持。它得到了大多数专家的支持。

伯克利红木研究是一家致力于减轻AI.的风险的咨询公司，希望在整个Bay地区进行许多A.I.的研究实施其研究。公司。尽管Shlegeris看到A.I.作为一种似乎无限能力的技术，他还认为它可能存在危险。

相关： 饱受折磨的Cal州立大学的1700万新元人工智能倡议辩护，攻击

近年来，该技术的兴起导致对技术行业应如何规范其指数增长的意见有分歧。对于那些反对监管AI的人之间的智力辩论，湾区为零。那些相信它将谴责人类灭绝的人。

Shlegeris希望Redwood Research能够与Google Deep Mind和Anthropic这样的公司取得进展，然后才能实现他的最恐惧。

问：您如何描述AI。的潜力？

一个：我认为AI有可能成为一种真正的变革性技术，甚至比电力更是如此。电力是经济学家所说的通用技术，您可以将其应用于不同事物的堆和堆。就像，一旦您进行了电力设置，它基本上会影响每项工作，因为电力就是一种动力的便利方式。同样，我认为如果AI.公司成功地建立了能够取代人类情报的AI.S，这对世界来说将是非常具变革性的。

世界经济每年都在增长，世界越来越丰富。世界每年都在技术上变得越来越高，而且技术上都在技术上进步，这基本上是永远的。它在工业革命周围增加了。从那时起，大多数情况以来一直在越来越快。对经济增长的速度的限制很大，这是对能够做多少知识劳动，可以发明多少科学和技术以及如何有效地运营组织的限制。目前，这是人口的瓶颈。但是，如果我们有能力使用计算机来进行思考，那么我们将很快获得大量加速的技术增长，这是合理的。这可能具有非常好的结果，但我认为构成了极端风险。

问：这些风险是什么？A.I.的最坏情况是什么？

一个：我不想谈论最坏的情况。但是我认为，与人性化根本上不一致的目标的AI.合理的结果。

问：那当然很恐怖。

一个：我认为，建造巨型机器人军队的场景，首先是因为有明显原因的国家 /地区想要机器人军队的情况，即它们对战争确实很有帮助。但是随后，机器人军队被AIS扩展，自主地希望它们建造，并自主购买，并自主建造工厂，然后转身杀死所有人。

问：那么我们是在谈论1％的机会吗？

一个：超过1％的人。我认为可以想象的是A.I.公司抓住了对世界的控制，并任命自己为世界皇帝。

问：转移回湾区特定的AI行业：旧金山似乎是技术领域的新兴庞然大物床，而伯克利和奥克兰似乎更像是研究和AI安全后卫的枢纽。这些不同的派系如何在湾区演变？

这主要是一次历史事故。就像，基本上只是因为。机器情报研究所（MIRI）曾经在这个领域很重要，它从2007年开始就在伯克利。然后，我认为这只是一个有核心的社区。我认识很多在美里工作的人。我曾经自己在那里工作，他们在伯克利，所以我最终为他们工作，所以我搬到了伯克利。另一种说法是伯克利很长一段时间以来一直是理性主义者社区的枢纽，而且许多对A.I.感兴趣的人。我认为您指的是与理性主义者社区有关的安全研究。

问：我喜欢看到一条历史领域，即使采用了AI。那只能可以追溯到30多年。

一个：以及S.F.的原因东西在S.F.主要是因为VC初创公司在历史上一直处于这种状态。伯克利和奥克兰的大型科技公司并不多。

问：硅谷如何在AID中考虑到这一分区？

一个：如果我要吸引大型硅谷公司 - 我的意思是Google和Apple和Meta'他们看东西的方式是如何赚取大量的钱我们庞大的技术人才和资本资源？根据我的经验，这些公司只是试图追求AI。功能是因为他们认为这对他们的好产品有帮助。AI。梅塔（Meta）的人，其中许多人是最近才进入的人。但是开始开放的人人类是真正的信徒，他们在聊天GPT之前就涉足了这些东西，在很明显的情况下，这将在短期内很重要。因此，您确实会看到一个差异。人和众人人是更理想的。山姆·奥特曼（Sam Altman）一直在谈论有关AI的极端话在互联网上已有十多年了。元人民的真实程度不大。

问：您是否认为这些A.I.公司过于夸张，或者他们的销售销售？

一个：我认为，很多人，尤其是科技记者，当他们听到AI。人们谈论他们认为AI的强大程度可能是。但是我担心这种本能在这里失败了。我认为A.I.人们并没有超越自己的技术。我的感觉是，大型A.I.公司（如果有的话）不足以使他们真正建立的东西，因为它们听起来不负责任。我认为他们有时会说出他们认为自己的技术会有多大的作用，这听起来很疯狂，允许私人公司开发它。我敢打赌，如果您去这些公司，您会听到他们说的比他们公开说的更疯狂的话。

Buck Shlegeris概况

标题：红木研究首席执行官

年龄：30

教育：学士学位澳大利亚国立大学的计算机科学专业

住所：加利福尼亚州伯克利。

关于Buck Shlegeris的5件事

1. 他曾在伯克利的机器情报研究所工作。安全理论。
2. 他是旧金山App Academy的助教，他计划利用自己的收入来提供改善未来的慈善机构。
3. Shlegeris最初来自澳大利亚，10年前移民到美国。
4. 他是一位多学科音乐家，包括吉他，贝斯和萨克斯管。
5. 在澳大利亚国立大学学习期间，他为学生提供了Python，JavaScript和Haskell等代码课程的辅导。

最初出版：2025年2月21日在PST上午8:00