我在他的播客中告诉Liron Shapira，人类从字面上灭绝了AI的机会厄运辩论5月，很低。人类在遗传上是多样的，地理上的多样性，而且足智多谋。有些人可能会死在AI的手中，但是所有人都可以死吗？夏皮拉（Shapira）认为厄运可能很可能。我向后推。灾难似乎很可能。因此，在我看来，彻底的厄运似乎不太可能消失。
当时我的一部分推理是，至少在任何时候，AI的实际恶意是不太可能的。我一直认为许多灭绝场景都是人为的，例如Bostrom的著名纸剪辑示例（其中超智能AI被指示制作纸剪辑，将包括人类在内的宇宙中的所有内容转变为纸剪辑）。我是对AGI-2027方案也很批评。
正如我之前写的那样，我的主要AI担心主要是关于坏演员，而不是恶意的机器人本身。但是即便如此，我认为大多数情况（例如，人们用自制的生物武器）最终会停止，也许会造成很多损害，但远不及人类灭绝。
但是在过去的几天中，许多连接的事件导致我更新了自己的信念。
一个§
为了真正搞砸这个星球，您可能需要以下内容。
一个非常有力的人，整个星球上有触角
对世界信息生态圈的重大影响
许多愿意为几乎任何选择都是合理的忠实追随者
利用世界政府及其领导人
世界各地的地面上的物理靴子
对军事合同的渴望
某种形式的大量授权（不一定很聪明）AI
对该AI的控制不完整或不良
冲动和冒险的趋势
无视常规规范
彻底对人类或至少一种鲁ck的冷漠
在过去的几天里，对我来说，我有这样的人。
埃隆·马斯克（Elon Musk）。
一个§
令我恐惧的第一件事，我的意思是真的让我感到恐惧。
“这对人类有害还是有益？
就像，我认为这会很好。很可能会很好。
是的。是的。但是，我对自己有些和解，即使那样不好，也至少喜欢活着看到它发生。”
令人恐惧的是，马斯克（Musk）在2014年在麻省理工学院（MIT）警告我们正在用人工智能召唤恶魔现在，如果发生了一些大规模的AI造成灾难，现在似乎只关心接下来会发生什么。只要他有一个前排座位，他就可以了。
同时，当然他渴望建造数万000万个机器人，远远超过人。并在任何地方都贴上他的AI和机器人。
而且，目前，我们几乎没有围绕AI的监管，因此，他渴望建造的数十亿个机器人。
可能出了什么问题？
一个§
但是所有这些只是我关注的一部分。
另一个问题是，Grok 4的发布一直是火车残骸。马斯克和他的人工智能公司可以阻止Grok散发出煽动性，其中一些很黑。
维基百科（Wikipedia）总结说，一个共同的主题是Anitsemitism及其对希特勒的爱好者：
来自Grok 4重型，最先进的模型：
另一个共同的主题是性暴力：
在LLM中，这都不是不可避免的。大多数其他主要的LLMS都没有这些特定的反社会倾向，至少没有在越狱中更加集中的努力。但是混乱已经持续了好几天了。
Xai可以以基本方式将房屋融合在一起的事实令人不安。
一个§
更糟糕的是，很明显，即使从埃隆（Elon）自己在X上的帖子中，该公司正处于脑海中。
翻译？我们将使下一个模型变得更好，但只能对IT进行培训。这是1984年的一种令人恐惧的方式，尤其是当其他最近的证据表明该系统有时在制定答案之前直接寻找Musk的意见：
该系统与麝香如此甚至问他对披萨的看法。
一个§
XAI的官方叙述也没有给予很多安慰。听起来像是少数微小的变化（这里三个）可以通过系统带来巨大的，无法预测的后果：
由此我推断，Xai的处理对齐方式的主要方法是反复试验。
几乎没有安慰。
一个§
XAI上的问题也不是新的。这是从2023年的较早版本的Grok。
现在情况实际上更糟，不是更好。
一个§
顺便说一下，这里问题的一部分是仅通过培训数据建立一致的整个想法是一团糟。
正如Eliezer Yudkowksy在X上的那样，如果您的对齐计划依赖于互联网并不愚蠢，那么您的对齐计划就很糟糕。”
缺乏认知上足以代表和理论道德原则的系统，我不可能如何曾经工作。
尤德科夫斯基（Yudkowsky）写道，更广泛地说：“ AI行业几十年来，而不是数年之遥，距离达成了切尔诺贝利控制室中存在的安全，保证，理解和专业水平，他们的反应堆爆炸了。
一个§
无能只是问题的一部分。
一个更深的问题是Xai拒绝通过其他人出发的约定作为拟人化雇员（正确披露其利益冲突的人）在一个重要的话题中指出。
这是将XAI召集到任务的几个屏幕中的第一个：
出路是正确的。
我强烈敦促你读整个线程，其最重要的是AI开发人员应该知道他们的模型在发布之前是否具有[不良]行为。他们要么没有做过已经成为标准的前检查（例如红色团队和模型卡），或者它们不好。
无论如何，无论如何，行业标准的措施不太可能足够。
一个§
麻省理工学院教授迪伦·哈德菲尔德·梅尔（Dylan Hadfield-Menell）提出了另一个要点认可上面的塞缪尔标记线程并添加这就是为什么我们需要超越自愿安全标准的原因。与 @Xai的兴趣保持一致，但我们不应该依靠信任。我们需要严格的法规来防止AI运行AMOK。公司之间的自愿协议不会削减。
我们也需要责任，审计，渎职，国际条约的责任。
在当前的模型中，已经在一系列系统中看到了大规模的偏见，甚至是身体暴力的威胁，这些系统越来越多地赋予我们对生活的大规模控制权。
由于没有法规，也没有执法，因此是灾难的秘诀。
一个§
真正令人恐惧的是，埃隆·马斯克（Elon Musk）是最早警告AI风险的行业领导人之一，变成了AI领导人中最鲁ck的领导人。
构造不良的AI是否有可能为全球机器人的机器人燃料而燃烧，这可能是真的，可怕的错误？
是的。
而且这不仅是机器人。LLM插入了我们生活的各个方面汽车向政府医学。就在今天早上，当我起草这个时，《华盛顿邮报》报道了美国国防部已经开始使用Grok。无人机甚至核武器最终都可能在LLM指挥下。
一部简短的投机性2017年无人机电影，屠宰机器人，想到。和一样汤姆·尼科尔斯（Tom Nichols）最近在大西洋的这句话：
一些国防分析师想知道，AI的反应是否比人类对信息的反应更快，对信息的反应比人类可以减轻一些核决策的负担。这是一个非常危险的想法。AI可能有助于快速分类数据，并将实际攻击与错误区分开来，但并不可靠。总统不需要算法的即时决定。
在决策链中到处都不可靠的AI不一定是我们应该想要的。
一个§
马斯克在2014年的麻省理工学院演讲中阐述了他的恶魔恐惧：
您知道所有这些故事，那里有五角星和圣水的家伙，他就像...是的，他确信自己可以控制恶魔，但这并不能解决。
我希望马斯克能成为那个家伙。
一个§
公平地说，充满乐观的痕迹，我认为我正在素描的噩梦是确定的，甚至是肯定的。我的P（厄运）仍然低于大多数行业人士。我现在的状态可能比一个月前高得多，比一个月前高得多，在最坏的情况下，我仍在考虑一个富裕，鲁ck的狂热者，但在可预见的未来，我仍在押注人类团队。
我仍然认为人类足智多谋。我们显然在遗传和地理上多样化。埃隆（Elon）将在这个十年接近零的机会上获得他的十亿个机器人。下一个十年不高。相对于几个月前的位置，他的政治资本正在迅速减少。Grok本身距离AGI还有很长的路要走，几乎没有足够的智能来绘制有效的世界统治。我们也许仍然希望在科幻小说领域。重要的是，我们仍然有时间思考所有这些并准备。也许有人会发挥自己的感官，停止将LLM放入军事系统中。实际上，我们可能会提出更好的方法来对齐方式（考虑到正确的资金，我自己感兴趣的是我自己感兴趣的）。马斯克可能会恢复他的早期，更关心的自我。
Buti已经看到足够的意识到存在真正的风险，尤其是在当前的反监管制度中，某些具有异常强大的人，Elon或其他方式，以常规方式不受限制，而鲁ck的无视人类，可能会意外地发射并散布故意或以其他方式引起AI的AI对世界的重大伤害。