GPT-6-Astra 解出 50 道物理研究题中的 49 道，单题成本 2.40 美元

该团队测试了市售的 AI 智能体，且未给予任何人工提示。在 OpenAI 的 Codex 编程环境中运行的 GPT-6-Astra 拔得头筹。它在 50 道题中答对了 49 道，即 98%，平均每题成本不到 $3，整个基准测试成本略低于 $116。

该基准测试考察的是常规研究工作，而非宏大挑战

这组题目有意排除重大未解问题，聚焦于作者所称的“按部就班”问题，即研究者将已知方法应用于略作改动的问题上。贡献者常常只调整自己近期某篇论文中一次计算的几个数值，使新结果无法从旧结果中猜出。据研究人员称，这类问题常常作为博士生踏入研究的第一步交给他们。

一个来自黑洞研究的例子表明，这些问题仍然要求很高。求解意味着找到一篇较早的论文，将其方程从五维时空迁移到四维时空，再用定制程序计算结果。协调人 Suvrat Raju 是那篇较早论文的共同作者，他大约花了一天。作者估计，在现代智能体出现之前，只有少数专家同时具备物理学知识以及这些计算方法的经验。即便是他们，也需要数天时间。

这些问题涵盖理论物理学的十一个子领域，从流体流动和生物过程到粒子物理学和宇宙学。每个智能体都将测试运行了两次：一次是在可进行网络搜索的现实条件下，一次是在无法访问互联网的隔离环境中。

在 Claude Code 中运行的 Anthropic 的 Opus 5.5 以 92% 位居第二。Google 的 Gemini 3.8 Flash 得分为 68%，而开放权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别达到 54% 和 42%。较弱的模型有时会犯专家立刻就能发现的错误。在黑洞问题上，Gemini 和 GLM 在网络搜索运行中原封不动地抄用了较早论文中的公式。那些公式适用于五维，而非所要求的四维。

互联网访问带来的差异出人意料地小。没有网络搜索时，Astra 和 Opus 各自得分为 92%。许多问题依赖于研究论文中的公式，而模型通常并未获得这些公式。作者将此视为一个迹象：领先的语言模型实际上已经记住了理论物理学文献的很大一部分。

在有网络搜索的情况下，Astra 解出了除一道题以外的所有题目，而这道题难倒了每一个模型。它要求给出能产生给定曲线的方程。专家的解法依赖于特殊的数学形式，这些形式只有在更宽泛的意义上才算作所要求的微分方程。作者承认这道题可能显得“不公平”，但他们认为它符合实际，因为研究者常常必须从不精确的数据中推断底层物理。

若干次 AI 失手后来被证明是标准答案中的缺陷

对于若干问题，与专家的后续沟通揭示了其参考解答中细小、难以察觉的错误。一旦这些错误得到修正，Astra 的答案每次都是正确的。

这种模式或许也能解释一个表面上的矛盾。这些智能体在 TheoPhysEval 上的表现优于某些其他物理基准测试，例如 CritPt，尽管作者认为自己的题目平均而言更难。一项 近期研究 发现，一些理论物理基准测试的评分并不正确，在某些情况下严重低估了模型的能力。

任何想核对这些结果的人，都可以在 Hugging Face 上将题目和测试设置作为 数据集 下载。

为什么强大的计算尚未带来物理学突破

作者写道，当前一些最强的模型在具体计算上或许已经超越了最优秀的人类研究者，即便在专业领域也是如此。他们称这是一个重大里程碑。

他们指出，这种影响在数学领域甚至更为明显，人工智能智能体已经解决了重要的未解问题。据 OpenAI 称，其中包括关于描述流体流动的方程的纳维-斯托克斯问题，这是著名的千禧年大奖难题之一。理论物理学尚未出现可比的突破。

作者解释说，带有可验证结果的具体计算只出现在研究过程的末尾。在此之前，必须有人构建理论，并向它提出“正确”的问题。当一个问题被证明太难时，优秀的研究者会转向一个更简单、同样有趣的相关问题。当前的智能体并不擅长这一点。

物理学家对什么使一个问题有趣，也有一种共同的、尽管远非一致的感觉。智能体似乎还不具备这种“品味”。当被要求设计新问题时，它们会迷失在人类会觉得乏味的细节中。

研究人员强调，这些观察无法量化，也不是对人工智能走向的预测。他们认为，人工智能智能体在不久的将来或许能够独立开展顶尖研究，但这需要的将不只是解决问题的能力。

人工智能已经在改变物理学家的培养方式以及谁能够参与竞争

作者已经看到了这对培养的影响。直到不久前，其中一些基准测试题目本会很适合作为职业生涯早期研究者的首个研究项目。除非目标明确只是为了把这些材料做完，否则这已不再合适。

他们还指出一个结构性问题：理论物理学在历史上所需的资金远少于实验研究，这使得该领域的机会相对平等。有能力的人工智能智能体可能会改变这一点。这些基准测试题目目前求解起来仍然便宜，Astra 完整运行一次的成本约为 $116。不过，对于更难的问题，作者预计资源需求会急剧攀升。到那时，即便在理论物理学中，一个研究组的预算也可能对其能够取得的成果拥有更大的发言权。作者表示，这引发了关于该领域准入与平等机会的问题。

数学领域已经在进行这些讨论，例如围绕 莱顿宣言 的讨论。作者认为，理论物理学也应在人工智能颠覆该领域之前展开这些讨论。物理学中至少有一个思想流派迄今一直敦促研究者“闭嘴去算”。如果品味和远见开始变得更加重要，物理学家或许需要转而“停下来思考”。