Terminal-Bench-Science:AI科研能力新基准

当AI走进实验室:一个新基准的诞生
AI智能体在软件工程领域已经取得了长足进步,但它们在科学研究中的表现究竟如何?2026年8月27日,一个名为 Terminal-Bench-Science 的新基准正式发布,试图回答这个问题。
该基准由斯坦福大学的研究人员主导,联合Terminal-Bench原班团队以及来自全球多个科研机构和学科领域的专家共同构建。它的核心理念是:科学能力的标尺应由科学家来设定,而非模型开发者或数据供应商。
为什么需要新的科学基准?
研究团队在公告中阐述了三个关键动因:
基准必须来自真实科研实践
科学能力的评估不应基于教科书习题或标准化考试,而应基于真实的科研工作流。Terminal-Bench-Science的任务全部由一线科研人员贡献,涵盖他们日常工作中遇到的真实问题。这为不同领域的科学家提供了一个直接发声的平台,让他们能够为自己关心的问题设定AI能力的门槛。
需要可验证的能力证据
如果没有可靠的评估手段,人们就无法判断AI智能体的能力是否在提升,也无法明确其局限所在。Terminal-Bench-Science在真实环境中评估智能体,并对分析报告、模拟结果、证明、代码和数据产品等具体产出进行可复现的任务专属测试。
基准必须跟上前沿步伐
科学基准常常被当作一篇论文来发表,发布一次便被搁置,即便模型不断进步、已知局限依然存在。Terminal-Bench-Science定位为持续演进的基准,通过定期发布新版本,科学家可以贡献新工作流、改进已有任务,在科研需求与AI发展之间形成反馈闭环。
首版成绩单:最强模型仅解决三成
Terminal-Bench-Science 0.1包含 70项任务,覆盖生命科学、物理科学、地球科学、数学和工程学五大领域。任务类型包括科学数据分析、统计推断、模拟、优化、定理证明和图像重建等。
在首批评估中,Claude Opus 5(搭配Claude Code)以30.0%的解决率位居榜首,成为表现最强的模型。其余模型的表现依次为:
- GPT-5.6 Sol(Codex):22.4%
- Claude Fable 5(Claude Code):21.4%
- Claude Opus 4.8(Claude Code):10.5%
- GPT-5.6 Terra(Codex):8.6%
- GLM 5.3(Claude Code):8.1%
- Kimi K3(Claude Code):7.1%
- Grok 4.6(Grok Build):7.1%
- GPT-5.6 Luna(Codex):3.3%
即便是最强模型,也仅能完成不到三分之一的任务。这一结果清晰表明,当前AI智能体在真实科研工作流中的能力仍然有限,距离成为可靠的科研助手还有很长的路要走。
愿景:让科学家专注于人类判断
研究团队的目标并非取代科学家,而是打造有用的科研助手。他们希望AI智能体能够执行技术上复杂且耗时的工作流,从而让科学家将更多时间投入到最需要人类判断的环节:提出研究问题、形成假设、解读与验证结果,以及传播研究发现。
在这一角色定位下,AI智能体有望扩展研究人员的能力边界,加速科学发现。而要实现这一目标,就需要能够反映真实科研实践、提供可验证能力证据、并与AI前沿同步演进的基准——这正是Terminal-Bench-Science试图填补的空白。


本文目录(7 节)
本文基于 Hacker News (AI) 的公开内容,由 AI 辅助整理改写后发布。
原标题:Terminal-Bench-Science: Evaluating AI agents on scientific research workflows
阅读原文