英语轻松读发新版了,欢迎下载、更新

独家:谷歌的 Gemini 正在迫使承包商对超出其专业知识的人工智能响应进行评分TechCrunch

2024-12-19 00:05:28 英文原文

作者:Charles Rollet

生成式人工智能可能看起来很神奇,但这些系统的开发背后是谷歌、OpenAI 等公司的大批员工,他们被称为“即时工程师”和分析师,他们对聊天机器人输出的准确性进行评级提高他们的人工智能。

但 TechCrunch 看到,谷歌向 Gemini 承包商下达的一项新内部准则引发了人们的担忧,即 Gemini 可能更容易向普通人泄露有关医疗保健等高度敏感话题的不准确信息。

为了改善 Gemini,承包商与外包公司 GlobalLogic 合作日立公司旗下,通常会被要求根据“真实性”等因素评估人工智能生成的响应。

直到最近,这些承包商还能够“跳过”某些提示,从而选择不评估人工智能对这些提示编写的各种响应,如果提示远远超出了他们的领域专业知识。例如,承包商可以跳过询问有关心脏病学的小众问题的提示,因为承包商没有科学背景。 

但上周,GlobalLogic 宣布谷歌做出了一项改变,即承包商不再被允许跳过此类提示,无论他们自己的专业知识如何。

TechCrunch 看到的内部信件显示,之前的指南内容如下:“如果您不具备评价此提示的关键专业知识(例如编码、数学),请跳过此任务。”

但现在指南写道:“您不应跳过需要专业领域知识的提示。”相反,承包商被告知“对您理解的提示部分进行评分”,并附上他们不理解的注释。“不具备领域知识。” 

这导致了人们对 Gemini 在某些主题上的准确性的直接担忧,因为承包商有时需要评估技术性很强的人工智能对他们没有背景的罕见疾病等问题的反应。

“我认为跳过的目的是通过将其交给更好的人来提高准确性?”TechCrunch 看到的一位承包商在内部信件中指出。

新指南显示,承包商现在只能在两种情况下跳过提示:如果它们“完全缺少信息”,例如完整的提示或响应,或者它们包含需要特殊同意书才能评估的有害内容。

截至发稿时,谷歌尚未回应 TechCrunch 的置评请求。

Charles Rollet 是 TechCrunch 的高级记者。他的调查报告导致美国政府对四家科技公司实施制裁,其中包括中国最大的人工智能公司。在加入 TechCrunch 之前,Charles 负责 IPVM 监控行业的工作。查尔斯住在旧金山,他喜欢和他的狗一起徒步旅行。您可以通过 Signal 通过 charlesrollet.12 或 +1-628-282-2811 安全地联系 Charles。

订阅业界最大的科技新闻

有关的

关于《独家:谷歌的 Gemini 正在迫使承包商对超出其专业知识的人工智能响应进行评分TechCrunch》的评论


暂无评论

发表评论

摘要

谷歌针对其人工智能系统 Gemini 的承包商制定的新内部指南要求他们评估人工智能生成的响应,即使他们缺乏领域专业知识,这引发了人们对信息准确性的担忧,尤其是在医疗保健等敏感话题上。以前,承包商可以跳过其专业知识之外的提示,但最新的更改要求评估所有提示并注意到专业知识的缺乏,而不是完全跳过它们。这种转变引发了人们对双子座在需要技术或医学知识的领域的可靠性的担忧。

相关讨论