OpenAI的新o1模型更擅长算计，这让AI“教父”感到紧张。
获得图灵奖的加拿大计算机科学家、蒙特利尔大学教授 Yoshua Bengio 在一份电子邮件声明中告诉《商业内幕》，o1 拥有“远超其前辈的推理能力”。
“总的来说，欺骗的能力是非常危险的，我们应该有更强大的安全测试来评估 o1 案例中的风险及其后果，”Bengio 在声明中写道。
Bengio 因其与 Geoffrey Hinton 和 Yann LeCun 合作的机器学习研究获奖而赢得了“人工智能教父”的绰号。
本月早些时候，OpenAI 发布了新的 o1 模型，该模型旨在更像人类一样思考。到目前为止，它一直对“学习”过程的细节保密。独立人工智能公司 Apollo Research 的研究人员发现，o1 模型比 OpenAI 之前的人工智能模型更擅长说谎。
Bengio 对人工智能的快速发展表示担忧，并主张采取立法安全措施，例如加州的 SB 1047。这项新法律已在加州立法机构获得通过，正在等待州长加文·纽瑟姆 (Gavin Newsom) 签署，它将施加一系列安全限制强大的人工智能模型，例如迫使加州的人工智能公司允许第三方测试。
然而，Newsom 对 SB 1047 表示担忧，他表示这可能会对行业产生“寒蝉效应”。
Bengio 告诉 BI，“有充分的理由相信”人工智能模型可以发展出更强大的诡计能力，比如有目的地、谨慎地作弊，我们现在需要采取措施，以“防止未来失去人类控制”.
OpenAI 在给 Business Insider 的一份声明中表示，根据其“准备框架”，o1 预览版是安全的，该公司用于跟踪和防止人工智能造成“灾难性”事件的方法，并在“谨慎规模”上被评为中等风险。
根据 Bengio 的说法，在研究人员尝试在推理能力上取得进一步重大飞跃之前，人类需要更加相信人工智能将“按预期行事”。
“这是科学家今天不知道该怎么做的事情，”本吉奥在声明中说。“这就是为什么现在需要监管监督的原因。”