加利福尼亚州的一项新人工智能法旨在防止与选举相关的人工智能深度造假在网上传播，该法在美国总统选举前一个月被封锁。据 TechCrunch 和 Reason 报道，约翰·门德斯法官已发布初步禁令，阻止该州总检察长执行 AB 2839。加利福尼亚州州长加文·纽瑟姆 (Gavin Newsom) 于 9 月中旬将其与其他关注人工智能的法案一起签署为法律。之后，他在推特上发布了 X 所有者埃隆·马斯克 (Elon Musk) 分享副总统卡玛拉·哈里斯 (Kamala Harris) 的人工智能深度伪造视频的故事截图，但没有将其标记为虚假视频。“我刚刚签署了一项法案，规定这种行为在加利福尼亚州为非法，”他写道。
我刚刚签署了一项法案，规定这种行为在加利福尼亚州为非法。
您不能再故意分发包含实质欺骗性内容（包括深度伪造内容）的广告或其他选举通讯。https://t.co/VU4b8RBf6N加文·纽瑟姆 (@GavinNewsom) 2024 年 9 月 17 日
AB 2839 要求任何散布 AI 深度赝品的人承担责任，前提是这些内容以政治候选人为主角，并且在该州选举后 120 天内发布。任何看到这些深度伪造内容的人都可以对分发这些内容的人提起民事诉讼，如果发布者不想面临罚款，法官可以命令发布者将受操纵的媒体撤下。在纽瑟姆将其签署成为法律后，该视频的原始发布者 X 用户克里斯托弗·科尔斯 (Christopher Kohls) 提起诉讼以阻止该视频，认为该视频是讽刺性的，因此受到第一修正案的保护。
门德斯法官同意科尔斯的观点，并在他的判决中指出 [PDF]，AB 2839 没有通过严格的审查，也不是狭隘的定制。他还表示，该法律的披露要求过于繁重。他写道：“几乎任何经过数字化修改的内容，如果留给互联网上的任意个人，都可能被认为是有害的。”法官将 YouTube 视频、Facebook 帖子和 X 推文比作报纸广告和政治漫画，并声称第一修正案“保护个人的发言权，无论这些批评可能采用何种新媒体。”由于这只是初步禁令，未来该法律可能会被解除，尽管这可能不会在今年的总统选举之前及时发生。