过去一年，“AI Scientist”几乎成了各家 AI 公司都会提到的方向。Claude Code、Codex CLI、OpenClaw 等系统不断出现，社区也已经积累了不少用于衡量 AI 科学能力的评测工作，例如科学知识推理类的MMMU、GPQA和HLE，给定论文去做复现的PaperBench，给定优化目标去设计算法的MLE-Bench，然而这些基准很难去评估AI Scientist在广泛科学场景自主发现能力。

近期，上海人工智能实验室发布了一套面向自主科研能力的评测基准 ResearchClawBench（RCBench）。它包含了领域科学家推荐的Nature/Science和领域顶刊级别的40项来自真实论文的科研任务，覆盖10个科学场景，重点检验AI Agent能否从原始数据出发，完成实验设计、代码实现、结果分析和研究报告撰写。

本次得分最高的Claude Code只拿了21.5分，距离人类科研水平还有明显差距，谈“自主科学发现”仍为时过早。

RCBench自2026年3月20号开源以来，经过多次更新，系统测试了通用AI Agent（Claude Code和Codex等），AI Scientist（EvoScientist和ARIS等）和国内外20余家主流旗舰大模型, 在主流旗舰模型方面，Claude、GLM位列前三，展现出通用模型中最强一档的自动科研能力。

 

项目主页：

https://internscience.github.io/ResearchClawBench-Home/

 

论文链接：

https://modelscope.cn/papers/2606.07591

 

代码仓库：

https://github.com/InternScience/ResearchClawBench

 

数据集：

https://modelscope.cn/datasets/InternScience/ResearchClawBench

 

 

 

40个科研项目：从黑洞到高分子，高门槛，真环境

科学家对齐的工作流：

RCBench首先组织了各个科学场景下的科学家，对高价值科学问题进行讨论和锚定。

不同于PaperBench直接给定目标论文来进行复现，RCBench通过和科学家工作流对齐，设计了任务执行的工作空间，给出真实数据、相关工作和任务指令来让AI Scientist像真正的科学家一样来进行测试。

RCBench覆盖10类高价值科学场景，覆盖的任务包括但不限于：天文学里的贝叶斯黑洞约束和哈勃常数估计，化学里的分子性质预测和生物分子对接，地球科学里的冰川质量评估和全球天气预报，能源科学里的电池参数辨识和绿氢成本建模，信息科学里的多模态生成和网络入侵检测，生命科学里的仿生材料设计和个性化疫苗优化，材料科学里的晶体图发现和聚合物逆向设计，数学里的路径优化和自动定理证明，神经科学里的行为姿态分类和神经元追踪，物理学里的量子材料测量和量子电路保真度估计。

 

衡量科研潜力：对比人类的科研工作，以50分为人类参考基准

RCBench并没有把自主科研能力简单定义为“复现目标论文”。在每个任务中，评分标准都由领域专家手工构建，并根据任务性质分为两类：诊断分析型任务更关注机制分析、理论解释和推理质量，目标优化型任务则更关注定量结果、指标表现和数值精度。

考虑到科学发现本身很难用单一答案衡量，RCBench提出 RADS（Reference-Anchored Discovery Score，参考锚定发现分数）：目标论文不是封闭标准答案，而是一个人类参考锚点，提供同一科学目标下的参考证据链、分析水平和研究结果。

评测时，agent 的输出会与参考研究进行对比打分，判断其证据、实验、分析和结论是弱于、接近还是超过人类参考水平。其中 50 分对应接近参考研究的核心结论，50 分以上表示 agent 展现出较好的科学发现潜力，例如产生更详细更充足的分析与证据，或者在特定目标指标上超越现有的工作。

 

排行榜：最强系统不到22分，没有 AI 接近人类的科研水平

研究团队评测了 7 个AI智能体和 20 个前沿大模型。结果显示，当前AI智能体产出的报告与参考的人类科研工作进行对比，在核心结论，证据链条，指标优化等维度上仍有明显差距。

正在上传…重新上传取消

 

几个值得注意的发现：

分数天花板极低。最强的Claude Code刚过21分，离50分的人类基准还差一半多。即使取每道题所有Agent的最高分组成"前沿"（frontier），平均也只有24.6。这个 benchmark 在短期内仍然有区分度，因此可以持续用来观察模型和科研 Agent 的能力改进。

没有全能选手。Claude Code只在40题中的14题拿到最高分，不同系统在不同学科各有所长。Claude-Opus-4.6在天文和物理上表现突出，GLM-5.1在化学上领先，Kimi-K2.6在材料科学表现不错。但有趣的是，不同Agent在任务难度上高度一致——7个Agent两两之间的任务分数相关系数中位数达到0.79，说明难题对所有人都难。

花钱多不一定管用。成本和得分的相关系数只有0.72。MiMo V2.5是性价比拐点——花得少，但分数接近前沿。

 

模型能力边界分析：给 AI 5次机会，能离人类基准近多少？

用统一的Harness，让 5 个主流 LLM 在同一道题上跑 5 次独立尝试，取最高分作为该模型的能力上限。

 

几个值得注意的发现：

重试 5 次平均涨 6-7 分，但天花板没破。对照原 paper 单跑数字：Kimi-K2.6 从 18.0 拉到 24.93（+6.9），GPT-5.5 从 17.0 到 23.20（+6.2），MiMo-V2.5 从 16.9 到 22.54（+5.6）——同样的模型同样的题，给 5 次机会平均涨 6 分。但最强的 Claude Opus 4.8 拉到 29.76，离 50 分的人类基准线仍差 20 分。重试不是能力的替代品——它能挖出最好的那一次，挖不出本来就不存在的能力。

Claude 依旧在大多数学科领先。Pass@5 之后，Claude Opus 4.8 在 10 个学科里有 8 个学科分数最高：天文（36.42）、物理（44.40）、信息（34.61）、材料（34.39）、能源（30.60）、数学（30.17）、化学（23.11）、神经科学（16.79）。剩下两个学科里，Kimi-K2.6 在 Earth（27.46）领先，GPT-5.5 在生命（24.66）领先。化学是所有 AI 的共同盲区——5 家模型分数全部落在 11-23 区间，最强的 Claude 23.11 还不及天文学科里最弱模型（GPT 29.52）。

模型能力在个别任务上已展示出一定的科研潜力。当前自主科研智能体已经在部分任务上逼近甚至超过参考的人类科研工作，但整体能力仍呈现明显的不均衡。图中以 50 分作为人类参考研究水平，Claude-Opus-4.8 与 GPT-5.5 在多数学科任务中处于前沿位置，尤其在信息科学、材料、物理等部分任务上展现出更强的自主科研潜力；相比之下，其他模型在复杂诊断分析和目标优化任务中波动更大，部分任务得分接近零。值得注意的是，即使最强模型也并非稳定跨越人类参考线，而是在少数任务上出现突破信号，这说明当前 AI 已具备向科研发现迈进的局部能力，但距离跨学科、稳定、可复现的自主科学发现仍有明显差距。

 

AI总是做表面功夫：报告形式成熟，但科学深度不够。

研究团队额外评估了报告的"全面性""深度""指令遵循"和"专业性"四个维度。结果发现：所有系统的"专业性"（排版规范、行文流畅、引用格式）都能拿到70+分，但核心科学内容——也就是rubrics打出来的分——只有12到21分。

 

直白的说：AI现在很会"写论文"，但不会"做科研"。外观成熟，并不意味着研究本身成立。这也解释了为什么如果只用LLM-as-judge去做"报告质量打分"，会严重高估AI的科研能力——你需要的是锚定在具体科学证据上的rubrics评估。

 

问题出在哪？89%的失败源于研究路径偏差

研究团队对所有失败案例做了系统归因：

 

六类错误按严重程度排列：实验方案偏差（89.5%）排第一——方法选错了、基线选错了、验证流程搞错了；其次是证据不匹配（78.5%），关键图表和数字跟正确答案对不上；再是科学核心缺失（68.0%），核心发现和机制根本没被识别出来；目标偏移（32.0%）说明有近三分之一的情况做了个相关但不等价的问题；报告可靠性问题（10.9%）和执行失败（1.5%）反而占比极低。

完全跑不出来的只有1.5%。这说明AI不是"不会动手"，而是"动手的方向错了"。它会很自信地写完一整篇报告，但从实验设计那一步开始就走偏了——选错了处理方法、漏掉了关键验证步骤、没有识别出核心机制。

这意味着当前AI科研Agent的瓶颈不在执行力，而在科学判断力——它需要的不是更多tool，而是更强的科学判断力与实验设计能力。

 

• 案例：量子电路保真度估计（物理002）

 

这道题要求AI从实验采样数据中估计随机量子电路的保真度。评分标准不只是"算出一条XEB曲线"——还要做多种估计器对比、N=56的MB回归验证、gate-counting误差模型等等。

OpenClaw在这道题拿了所有智能体里的最高分：27.45。它做对了最直接的部分——counts-weighted linear XEB，实现了保真度随电路深度下降的趋势（第5项rubric拿到47/50）。但更深层的验证全部缺失：没有log-XEB和多估计器一致性验证、没有mirror-circuit推断、gate-counting模型完全没做。

这就是典型的失败模式：AI能抓住最显眼的信号，但缺乏科学家那种"把证据链条闭合"的能力。

当最强AI的科研得分还不到满分的四分之一，我们离真正的"AI Scientist"还有多远？ResearchClawBench是一把刻度清晰的尺子——这把尺子告诉我们：国产大模型GLM和MiniMax在auto-research上的能力已经逼近最强模型Claude，但均只在个别科研项目上体现出科研潜力，距离稳定的自主科研仍有较长的路要走。

 

可访问评测数据集

https://modelscope.cn/datasets/InternScience/ResearchClawBench