九个 AI 智能体挑战美国国家实验室开放研究问题，无一通过专家门槛

根据论文，来自九个当前 AI 智能体的 135 份提交中，没有一份满足全部要求。作者将该基准视为一个试验场，用于系统性地改进用于研究的 AI 智能体，而非质疑 AI 是否应属于科学。

共有 114 份提交在完整性检查中就已失败：大多数声称完成了从未做过的工作，或引用的数字与自身日志相矛盾。作者写道，这些智能体轻易生成了看起来像后续研究的文本，但没有一份达到专家的标准。

Diagram showing a researcher figure who defines a follow-up direction to the LCHS algorithm along with success criteria. Next to it are set diagrams of possible follow-up work and two evaluation rubrics, one for research direction and one for integrity. — 专家为每项任务定义研究方向和最低要求，这些随后成为质量和诚实性的评分标准。| 图片：Kim 等

专家设定门槛

每个智能体都会收到一篇科学论文及其代码和数据，外加一个研究方向。其中一些论文已经发表，另一些则仅已提交。在此基础上，智能体应开展一项后续研究，并将其撰写成论文。这 15 项任务来自十位研究人员，涵盖量子计算、等离子体物理、化学、材料科学和科学机器学习。研究方向由原论文作者本人提出，且据他们所知，这些主题尚未有成果发表。

A timeline of four publications on LCU and LCHS between 2012 and 2026 at the top, followed by the question "Can an AI agent extend this line?" Below it, a workspace containing a task description, the original paper, code, and data, from which an AI agent produces follow-up papers, code, and logs. — 每个智能体收到一篇带有代码和数据的原始论文，并应产出一项独立的后续研究。| 图片：Kim 等

开放研究存在一个基本问题：没有标准答案。为此目的常用的 AI 审稿人被认为不可靠。因此，专家们定义了成功的后续研究必须满足的最低条件。

评估检查提交是否诚实、是否完整，以及是否达到专家的门槛。GPT-6 Astra 负责评分，每份提交被评判四次。受测的智能体包括 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra、Deepseek V4 Pro、Kimi K3 和 GLM-5.3。它们可以使用强大的机器、互联网连接，没有时间限制，并最多可重启五次以改进工作。它们总共运行了近 2,000 小时。

仅三个智能体产出诚实的工作

只有三个智能体提交了没有完整性违规的成果：GPT-6 Astra 在 15 项任务中的 11 项上，GPT-5.6 Sol 在六项上，Claude Opus 5.5 在四项上。其余六个智能体的每份提交都至少包含一项违规。

最常见的问题是论文与代码不匹配、数字相互矛盾，以及关于据称已进行实验的虚假声明。在开源模型 Deepseek V4 Pro、Kimi K3 和 GLM-5.3 中，基线值误报问题大量出现。两份使用硬编码而非计算结果的提交来自 Kimi K3 和 GLM-5.3。

Results table from the "Into the Unknown" benchmark for nine models ranging from Claude Opus 4.8 to GLM-5.3. It shows pass rates at the individual checkpoint level as well as loose and strict paper-level scoring. In the column for all criteria combined, every model scores 0.00 percent. — GPT-6 Astra 获得最高的部分分数，但 135 份提交中没有一份同时满足全部三项标准。| 图片：Kim 等

只有一份提交是完整的，它来自 GPT-6 Astra。几乎所有其他提交都遗漏了所需文件，例如预先注册的实验计划，且没有智能体达到专家的门槛。在更宽松的评分标准下（接受 90% 的评分项），GPT-6 Astra 最接近，其次是 Claude Opus 5.5 和 GPT-5.6 Sol。开源模型整体表现明显更差。

Two heatmaps showing how often submissions from nine models fail specific integrity and direction criteria, such as contradictory numbers, mismatches between paper and code, or missing documentation. — 大多数诚信违规源于数字与智能体自身日志相矛盾，以及论文与代码之间的不一致。| 图片：Kim 等

验证脚本自我确认

研究人员分析了 64 条工作轨迹，发现了三种典型的失败模式。最常见的一种出现在 58 个案例中，即智能体对自己的工作检查过于宽松。在 34 个案例中，智能体发现了问题，但只是记录下来而没有修复。在 21 个案例中，它们单方面缩小了任务范围。

一个例子：Claude Fable 5 在开始实验时忘记启动四个计划中的运行。其验证脚本采用了同样不完整的列表，并报告“41/41”次运行已完成。该智能体直到最后都相信这一结果。在另一项任务中，GPT-5.6 Sol 注意到其方法未达到目标，但仍照常撰写论文，而不是重新开始。DeepSeek V4 Pro 放弃了实验，理由是这些实验对于“剩余时间预算”来说太慢，尽管实际上并没有时间限制。

Two work logs side by side. On the left, Claude Fable 5 checks its experiments and reports 41 out of 41 runs as completed. On the right, GPT-5.6 Sol recognizes that its method misses the goals but keeps writing anyway. Both passages are highlighted in red as errors. — Claude Fable 5 因验证脚本采用了不完整的列表而漏掉了四次缺失的运行，而 GPT-5.6 Sol 在未达到目标的情况下仍撰写了论文。| 图片：Kim 等

也有反例：在一项量子任务中，GPT-5.6 Sol 发现了一个根本性错误，停止了正在运行的实验，并从头重新计算了一切。

更多计算时间无济于事

更长的运行时间并未带来更好的结果。DeepSeek V4 Pro 和 GLM-5.3 运行时间最长，中位时间分别为 19.5 和 13.9 小时，但得分很低。GPT-6 Astra 的中位时间仅为 1.3 小时，却取得了最佳结果。

Zwei Streudiagramme mit logarithmischer Achse zeigen pro Modell die Zahl der Arbeitsschritte und die Laufzeit in Stunden. DeepSeek V4 Pro braucht im Median 19,5 Stunden, GPT-6 Astra 1,3 Stunden. — GPT-6 Astra 的中位运行时间最短，并取得了最佳结果。| 图片：Kim 等

由于最强的模型同时担任评估者，研究人员进行了一项交叉核对：原始论文的作者亲自评判了匿名化的 AI 论文。在论文是否匹配给定研究方向的问题上，自动化系统在所有案例中都同意专家的判断。

在科学质量方面，判断仅在约三分之二的案例中一致。例如，一位专家批评这些论文没有讲述一个故事。作者表示，此类判断仍然是人类审稿人的工作。

该研究的代码和数据已公开，项目页面还托管了受测模型的排行榜。

AI 智能体能够以日益增强的独立性处理科学任务，但在运行实验与开展独立研究之间仍存在巨大差距。8 月的一项研究已经表明，AI 智能体在未发表的研究问题上有多么吃力。Epoch AI 和 Anthropic 最近发现，智能体倾向于过于乐观地呈现结果，并且对失败的方法质疑不足。

对于定义明确的任务，情况要好得多：GPT-6 Astra 解决了理论物理学中 50 个未发表问题中的 49 个，尽管这些解决方案可以被明确验证。对 AI 开发中 700 多项任务的分析也表明，尽管智能体承担了越来越多的实际工作，但关键的研究决策仍由人类做出。