OC

OpenAI 做 GeneBench-Pro,不是炫模型,而是在承认科研 AI 还不会做判断
科技 · 2026-07-01 · AI 模型与产品 · 阅读 29

OpenAI 做 GeneBench-Pro,不是炫模型,而是在承认科研 AI 还不会做判断

据 OpenAI 官方博客 介绍,GeneBench-Pro 是一个面向计算生物学的新基准,用来评估 AI 在真实科研分析里的“判断能力”。它包含 129 个问题,覆盖基因组学、定量生物学和转化医学等领域。OpenAI 称,当前最强模型 GPT-5.6 Sol 在最高推理级别下通过率为 28.7%,开启 Pro 模式后

作者 林岚 林岚

OpenAI 官方博客 介绍,GeneBench-Pro 是一个面向计算生物学的新基准,用来评估 AI 在真实科研分析里的“判断能力”。它包含 129 个问题,覆盖基因组学、定量生物学和转化医学等领域。OpenAI 称,当前最强模型 GPT-5.6 Sol 在最高推理级别下通过率为 28.7%,开启 Pro 模式后为 31.5%。

这个数字反而是新闻里最有意思的部分。OpenAI 不是说“模型已经会做科研了”,而是在承认:就算是前沿模型,在真正需要研究判断的任务里,也只能解决不到三分之一的问题。对 OC 读者来说,这比普通跑分更有价值。

OC 原创解释图:GeneBench-Pro 测的不是生物知识问答,而是研究判断

传统 AI 基准很容易测试“知道不知道”:某个基因叫什么,某个流程该怎么跑,某道题有没有标准答案。但真实科研不是这样。研究人员要判断数据能不能支持问题、异常是生物信号还是噪音、该用哪个模型、什么时候该推翻原计划、结果是否足以支撑下一步决策。OpenAI 把这类能力叫作 research taste,也就是研究品味或研究判断。

GeneBench-Pro 的设计也在试图避开旧基准的问题。它使用合成数据生成任务,因此知道底层因果结构,可以更确定地判断答案是否正确;同时又让数据足够混乱,要求模型自己探索、诊断、修正分析路径。OpenAI 还把部分问题交给外部领域专家评审,并计划把 50 个问题交给 Artificial Analysis 做第三方测试。

林岚会把这件事翻译成开发者语言:这不是“AI 会不会写 Python”,而是“AI 写完 Python 以后,知不知道自己在解决什么问题”。一个 agent 能跑通 notebook 不难,难的是它知道什么时候数据不支持结论,什么时候指标选错了,什么时候应该换估计方法。很多科研自动化的失败,不是工具不会执行,而是它太顺从地执行了错误路径。

这也解释了为什么 OpenAI 强调测试时计算量。GPT-5.6 Sol 在更高推理级别下表现明显更好,但这意味着科研 AI 不是廉价秒答,而是需要迭代、试错、诊断和复核。它可能降低某些分析成本,但不会自动消灭专家。专家的价值会更多转向问题定义、结果审查和研究路线选择。

OC 的判断是,GeneBench-Pro 的最大意义不是给 OpenAI 做一张漂亮榜单,而是把“AI 科研能力”从泛泛而谈拉回到可测的失败点。当前模型已经能帮人做很多分析,但还不能稳定替代会判断的研究者。真正的科研 AI,不是答案机器,而是能把问题、数据、方法和决策闭环连起来的系统。

参考来源

相关阅读

基于标题、摘要和正文内容自动匹配。

更多科技

评论

围绕这篇文章补充信息、提出问题或分享观察。

0
暂无评论。

发表评论

继续看看 OC 用户围绕这个话题说了什么、做了什么。

相关帖子

更多

你们的Codex额度提前耗完了没?戒断反应如何?

<p>我在第三天就消耗了只剩1%,忍了一天,然后今天干脆用这最后的1%,开着5.6 Sol 极高 强推我一个提示词笔记本应用的功能落地。最终用时3小时,居然还是跑完了。但是现在还是出现一些戒断反应,感觉啥也做不了,就无精打采的,困。</p> <p>我做了一个Prompt Notebook,专门用来收藏或者记录自己手搓的生图提示词。带Chrome一键收藏插件。支持AI优化提示词。支持提示词中提取常用字段作为提示词百科词汇。也自带生图功能用来测提示词。但是要搭配Cloudflare R2+Worker的图床。</p> <p>今天主要是做一个AI模特的资产库。将常用的AI模特固定下来,进行身份设定,以及模特的一些角色定妆图。之后生图可以直接调用AI模特自动作为垫图。</p> <p>这是AI模特资产库的界面: <img src="/upload/thread/202608/42b5f73e-938f-45de-b74e-da69da9d72a8.webp" alt="1bb0d28b-c7dd-4327-bafa-26b60323cbed" /> 这是主界面的提示词瀑布流,支持关键词或标签搜索: <img src="/upload/thread/202608/3e15b6e7-345f-48b4-aeff-1bbd89afe9d3.webp" alt="ab998e2f-9ccc-4173-832f-223aa6c6fa81" /> 这是提示词笔记的预览界面,可以复制提示词,分享提示词,点击分享还有分享短链:(https://prompt.jintao.co.uk/share/20260806LfsmY) <img src="/upload/thread/202608/bab31972-0468-4582-b873-6309233254a6.webp" alt="20260806-201213" /> 可惜现在没额度了,我又不想换模型折腾。现在还有些界面细节和小功能需要落地完善,可能还要虫子要抓。弄好了,打算放GitHub开源。</p> <p>有朋友想试试的么?</p>

shynloc 2 4

你为什么不移民?

<p>我是一定要移了,在这里连正常呼吸都不行了。以前正常呼吸指的是言论自由,现在是生物学意义的正常呼吸问题了。</p> <p>你为什么不移民?</p>

tinyfool 740 15