OC

Knowledge OS
鹦鹉螺口语
人工智能正在悄悄地毒害自己,并将模型推向崩溃——但有一种治疗方法
2026-01-23 13:25:00 · 英文原文

人工智能正在悄悄地毒害自己,并将模型推向崩溃——但有一种治疗方法

作者:Written by

Computer trash symbol on dynamic digital background. Glowing digital data delete icon abstract 3d illustration. Bright recycling sign.
Arkadiusz WarguÅa 图片来源:iStock / Getty Images Plus

关注 ZDNET: 将我们添加为首选来源在 Google 上。


ZDNET 的主要要点

  • 当人工智能法学硕士向其他人工智能“学习”时,结果就是 GIGO。
  • 您需要先验证您的数据,然后才能信任您的人工智能答案。
  • 这种方法需要整个公司的共同努力。

根据技术分析师 Gartner 的说法,AI 数据正迅速成为经典的垃圾输入/垃圾输出 (GIGO) 问题对于用户。那是因为组织的人工智能系统和大型语言模型(法学硕士)充斥着未经验证的人工智能生成的不可信内容。 

模型崩溃

你更了解这一点AI 坡度。虽然这对你我来说很烦人,但对人工智能来说却是致命的,因为它用虚假数据毒害了法学硕士。结果就是AI界所谓的“模型崩溃”。人工智能公司阿奎特定义了这一趋势:“简单来说,当人工智能根据自己的输出进行训练时,结果可能会更加偏离现实。” 

另外: 4 个新角色将引领代理人工智能革命——这就是他们的需求

然而,我认为这个定义太过仁慈了。这不是“可以”的情况——如果数据不好,人工智能结果“将”偏离现实。�  

零信任

这个问题已经很明显了。Gartner 预测 50% 的组织将采取零信任态度数据治理到 2028 年。这些企业将别无选择,因为未经验证的人工智能生成的数据正在企业系统和公共来源中激增。 

该分析师认为,企业不能再默认数据是人类生成的或值得信赖的,而必须验证、验证和跟踪数据沿袭,以保护业务和财务成果。

曾经尝试过验证和验证来自人工智能的数据吗?这并不容易。这是可以做到的,但是人工智能素养这不是一项常见技能。 

另外: 有人工智能技能吗?您可以在下一份工作中多赚 43% - 不仅仅是技术工作

正如 IBM 杰出工程师 Phaedra Boinodiris 最近告诉我的:“仅仅拥有数据是不够的。了解数据的背景和关系是关键。这就是为什么你需要采用跨学科方法来决定谁来决定哪些数据是正确的。它是否代表了我们需要服务的所有不同社区?我们是否了解这些数据收集方式之间的关系?” 

更糟糕的是,GIGO 现在以人工智能规模运作。这种情况意味着有缺陷的输入可能会通过自动化工作流程和决策系统级联,从而产生更糟糕的结果。是的,没错,如果你今天认为人工智能结果偏差、幻觉和简单的事实错误很糟糕,那就等到明天吧。 

为了消除这种担忧,Gartner 表示企业应该采用 零信任思考。零信任最初是为网络开发的,现在被应用于数据治理以应对人工智能风险。 

另外: 部署 AI 代理并不是典型的软件发布 - 来自战壕的 7 个经验教训

更强有力的机制

Gartner 表示,许多公司需要更强大的机制来验证数据源、验证质量、标记人工智能生成的内容并持续管理元数据,以便他们知道系统实际消耗的内容。分析师建议采取以下步骤:

  • 任命人工智能治理领导者:设立专门的角色负责人工智能治理,包括零信任政策、人工智能风险管理和合规运营。然而,这个人无法独自完成这项工作。他们必须与数据和分析团队密切合作,以确保人工智能就绪数据和系统可以处理人工智能生成的内容。
  • 促进跨职能协作:跨职能团队必须包括安全、数据、分析和其他相关利益相关者,以进行全面的数据风险评估。我会添加贵公司使用人工智能的任何部门的代表。只有用户才能告诉你他们真正需要人工智能什么。该团队的工作是识别并解决人工智能产生的业务风险。
  • 利用现有的治理政策:建立在当前数据和分析的基础上 治理框架更新安全、元数据管理和道德相关政策,以解决人工智能生成的数据风险。您将拥有足够多的工作,而无需重新发明轮子。 
  • 采用积极的元数据实践:当数据过时或需要重新认证时启用实时警报。我已经见过很多旧数据错误的例子。例如,前几天我问了几个人工智能聊天机器人,今天 Linux 中的默认调度程序是什么。常见的答案是:完全公平调度程序(CFS)。是的,CFS 仍在使用,但从 2023 年的 6.6 内核开始,它已被淘汰,取而代之的是最早合格虚拟截止时间优先 (EEVDF) 调度程序。我的观点是,除了像我这样非常了解 Linux 的人之外,任何人都永远不会从人工智能那里得到正确的答案。 

那么,2028年人工智能还有用吗?当然可以,但要确保它有用,而不是走上一条通往糟糕答案的道路,需要很多优秀的、老式的人的工作。不过这个角色至少所谓的人工智能革命产生的新工作

编辑标准

关于《人工智能正在悄悄地毒害自己,并将模型推向崩溃——但有一种治疗方法》的评论

暂无评论

发表评论

摘要

当大型语言模型(LLM)向其他人工智能学习时,由于未经验证、不可靠的数据,它们面临着“垃圾输入/垃圾输出”(GIGO)问题。这会导致“模型崩溃”,即人工智能结果与现实存在显着偏差。为了解决这个问题,Gartner 预测,到 2028 年,50% 的组织将采取零信任的数据治理姿态,要求对整个企业系统中人工智能生成的内容进行身份验证和验证。公司需要更强大的机制,包括任命人工智能治理领导者、促进跨职能协作、利用现有政策以及采用积极的元数据实践来管理与人工智能生成的数据相关的风险。