斯坦福大学研究人员如何设计公平且值得信赖的AI系统

当斯坦福大学实验室的创始人约翰·麦卡锡（John McCarthy）在1955年创造了“人工智能”一词来描述制造智能机器的科学和工程时，这项技术的定义特征是它的智能。但是，随着人工智能变得更加复杂和普遍，越来越明显的情报可能是唯一的优先事项。

AI系统对特定数据集进行了培训，以了解如何在各种情况下表现。这意味着培训数据中的任何偏见或错误都可能导致不可靠或不公平的结果。由于AI缺乏自己的道德感或事实检查自己的工作的能力，因此人类需要在监视AI系统的训练和使用中发挥积极作用。

对于AI的许多应用，无论是用于航空航天，医学还是金融系统，都有可能但可能的案例，'Mykel Kochenderfer，航空和宇航员副教授斯坦福工程和董事斯坦福大学智能系统实验室，讨论在极端或不太可能条件下出现问题的情况。如果没有预期这些边缘案例，系统可能会失败，并且任何一个故障都可能是灾难性的。缺乏对这些AI系统的信任通常会阻碍其部署。

斯坦福大学的研究人员希望超越识别AI系统中的边缘案例和公平差距；他们的最终目标是设计与没有AI相比，可以积极提高项目的可靠性，公平性和可信赖性的AI。

魔术的能力是，它们可以进行科学研究。Sanmi Koyejo，斯坦福工程计算机科学助理教授，领导Stanford值得信赖的AI研究实验室。理解这有助于我们做出有关AI部署的更明智的决定，而不是被炒作或恐惧所挥之不去。科学的测量而不是猜测应该指导我们如何将AI融入社会。

随着AI的影响力的增长，许多斯坦福大学的研究人员正在努力使其更公平，谨慎和安全。三名教职员工的工作为建立人们可以信任的AI系统的更广泛的努力提供了一个窗口。

人工智能和法律

``当我们购买房屋时，我不得不签署一份文件，说该财产不得被非洲，日本或中国人或任何蒙古人的任何人使用或占领。'丹尼尔·E·胡，威廉·本杰明·斯科特（William Benjamin Scott）和卢娜·斯科特（Luna M. Scott）法学教授斯坦福法学院。

这一经验强调了他的种族主义在法律基础设施中有多深入 - 他现在正在努力通过技术拆除的事情。Ho指示斯坦福大学的Reglab，这些合作伙伴与政府机构合作探讨了AI如何改善政策，服务和法律程序。

最近，Reglab工作与圣塔克拉拉县（Santa Clara County）一起执行了一项州法律，该州规定所有县都识别和编辑种族主义财产契据。

ho说，对于圣塔克拉拉县来说，这意味着修改约8400万页的记录，可追溯到1800年代。我们开发了一个AI系统使县能够发现，地图和编辑契据记录，节省了约86,500人小时。”

程序性膨胀 - 民主党人和共和党人强调的一个问题是Reglab用AI解决的问题。

ho说：'ho说：``目前共识的奇怪领域之一是政府的过程非常出色。”我们开发了一个法定研究助理（Stara）可以识别过时要求的AI系统，例如可以不必要地消费员工时间的报告。

旧金山市检察官戴维·乔（David Chiu）引入基于Reglab协作削减这些要求的三分之一的决议。

ho说，我认为AI负责任地实施，有可能改善政府计划并获得正义的机会。”

医疗AI公平

Koyejo的实验室已经开发了直接解决医疗AI系统偏见的算法方法。当AI诊断工具主要接受来自特定人群的数据（例如胸部X射线数据集）培训时，某些种族群体的代表性不足 - 它们通常无法在不同的患者人群中准确地工作。

Koyejo说，我的实验室算法有助于确保AI系统诊断出胸部X射线的疾病对所有种族背景的患者的效果同样良好，从而防止医疗保健差异。他的团队还解决了学习的挑战，即开发技术，这些技术使AI系统可以忘记有害培训数据或私人医疗信息而不会损害其整体表现。

除了医疗保健，Koyejo的研究生唱歌与越南的研究人员合作，对专门为越南发言人进行了开源大语模型。这项工作体现了AI公平的范围，超出了确保技术利益到达服务不足的语言群落的范围。

这些应用很重要，因为AI失败会导致伤害并将整个人口排除在技术益处之外。” Koyejo说。

适用于更安全的系统的人工智能

尽管他的工作存在于医学外，但Kochenderfer的研究是AI失败可能意味着生与死的另一个领域。

Kochenderfer研究不确定条件下的决策，该决策转化为用于监视和控制空中交通，未拖放飞机和自动化汽车的系统。在这些应用中，AI系统必须说明旅行的效率，运动的复杂性（尤其是在高速下）以及传感器技术的局限性，以收集有关这些车辆如何移动以及周围的东西的实时数据。

Kochenderfer说，确保与现实世界相互作用的AI系统的安全要困难得多。”我们需要系统非常安全，即使传感器系统中存在广泛的行为和噪音。”

他目前和未来的项目包括这本书验证算法（即将到来，在线免费下载）和安全关键系统的新课程验证免费的YouTube讲座由博士后研究员悉尼卡茨。

Kochenderfer说，我很高兴了解语言模型在多大程度上可以帮助监视关键系统。”语言模型似乎能够编码大量常识性知识。如果是这样，它们可以在自动化子系统（例如飞机上的自动化子系统）以意想不到的方式失败时提高安全性。

什么值得

尽管这些示例强调了法律，医学和工程中的应用，但在有AI工具的任何纪律中，创意艺术，沟通，安全技术和教育都可以列举一些机会，提供了一些机会来创建AI的机会，不仅可以更好地发挥作用，而且还可以更有效地运作效率，而且在公平，可靠和可信赖的方式中为社会服务。

这些应用很重要，因为AI失败不仅会产生较差的结果 - 它们可能造成真正的伤害，并系统地将整个人口排除在技术利益之外。”

对他来说，前进的道路需要在系统地工作时承认AI的局限性。Koyejo说，完美的AI既不是可能的也不是正确的目标。相反，我们应该瞄准值得社会信任的AI系统。