Taste-Bench 评估 AI 智能体长期决策，GPT-5.6 Sol 正确率59.7%

论文作者将出色做出这些选择的能力称为智能体的“品味”。现有基准只衡量智能体是否完成任务，而不衡量其沿途步骤的质量。Taste-Bench 旨在填补这一空白。

长期决策无法当场评判

你无法立刻评判一个长期选择。整洁的实现和草率的实现起初可能产生相同的输出，也可能通过相同的测试。整洁的做法只有在后续改动变得更容易时才会得到回报。人工评分成本高昂，需要深厚的领域专业知识，而且难以扩展。

因此，研究人员依靠后见之明。轨迹的后续路径——一次智能体运行的记录痕迹，包含其全部步骤与观察——能表明较早的选择是否奏效。实践中，智能体系统会多次尝试同一任务。这些尝试最终会分向不同方向。

由于每次尝试的最终结果会揭示更好的路径，这些运行本身就提供了带标签的比较。作者将这一分岔点称为“决策分叉”。为衡量品味，他们在分叉处冻结该次运行，隐藏之后的全部工作，并让模型在两条路径之间做出选择。

Diagram of a decision fork during masked language model training. Option A, "reduce model size, train more steps," ends at a loss of 6.56. Option B, "keep model size, train fewer steps," ends at a loss of 7.66. — 在决策分叉处，模型必须在后续轨迹揭示哪一条更好之前，于两个方向之间做出选择。| 图片：Pan 等人

过往错误揭示智能体错在何处

Taste-Bench 包含 502 道题，每道都有原始任务、直到分叉处的轨迹，以及两个可能方向。第一类来自对同一任务的两次相互分歧的独立尝试，其中智能体从未看到错误路径。

第二类来自智能体在单次运行中自我纠正并绕路。这里，最初被舍弃的方向与后来成功的方向构成两个候选。这一变体检验模型能否比执行中的智能体更早发现错误。

原始数据来自数千次已评分的智能体运行，任务涵盖编程与 AI 研究，包括 SWE-bench Pro 以及 METR 公开发布的转录记录 MALT。一个生成模型筛选出合适的分叉，剔除答案显而易见的简单题目，并移除无法判定的情形。人工复核确认了几乎全部自动生成的标签。

即便顶尖模型也几乎只比抛硬币略胜一筹

该团队测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列的 14 个当前模型。每道题询问两次，一次按正常顺序，一次将选项对调。只有模型两次都答对，该题才算得分。纯猜测在这里的得分为 25%。

测试中表现最好的模型 GPT-5.6 Sol 平均为 59.7%，紧随其后的是 GPT-5.5，为 59.5%。所有其他模型的得分都远低于此。尽管每道题只是二元选择，没有模型接近攻克该基准。绕路分叉始终比并行分叉更难。

Three bar charts show the accuracy of 14 models on Taste-Bench across average, research, and engineering splits. GPT-5.6 Sol leads overall with 59.7 percent, followed by GPT-5.5 and Claude Opus 5. — 即便最好的模型，在这些二元决策问题上也只在约 60% 的情况下选中更好的方向。| 图片：Pan 等人

当证据只在后来才出现时，模型表现崩塌

对于每个分叉，团队检查了观察者需要向前看多远，更好的路径才会变得清晰。当关键线索已在先前步骤中可见时，所有模型的平均准确率达到 62.3%。当该线索只在大量后续工作之后才出现时，准确率降至 21%，接近随机猜测。回答这些问题意味着预测未来的工作。

思考更久并没有帮助。研究人员针对两种模型，用三种推理设置重复了这项测试。从最低设置切换到最高设置，准确率几乎没有变化。模型在最难的层级上花费了最多的推理 token，并在自己最常答错的问题上思考得最久。团队认为，这表明在这些分叉点上，所需的线索当时根本还不存在。

决定性证据在轨迹中出现得越晚，模型表现就越差，增加推理预算也无法改变这一点。| 图片：Pan et al.作者表示，该基准衡量的技能不同于 SWE-bench Verified 这类经典的端到端测试。在那些测试中得分相近的模型，在 Taste-Bench 上却呈现出明显差距。

品味终究是可以训练的

研究人员还表明，品味是可以被教会的。他们把一个知道正确路径的教师模型的判断，蒸馏到一个只能看到问题的学生模型中。他们以Qwen3.6-27B为基座。在未见过的任务上，学生模型的准确率从 30% 跃升至 47.9%。

这一提升在实践中得到了回报。团队在每个分叉点把学生模型的判断作为建议加入任务上下文，并让另一个独立的智能体来解决问题。在 41 个留出的 SWE-bench Pro 任务上，成功率从 14.6% 上升到 33.7%。完全正确的建议本可达到 39%，因此该学生模型获得了大部分可能的收益。

Two bar charts show judgment accuracy rising from 30.0 to 47.9 percent and SWE-bench Pro success rate climbing from 14.6 percent without advice to 33.7 percent with student advice, compared to a ceiling of 39.0 percent with correct advice. — 在经过训练的 Qwen3.6-27B 学生模型的指导下，智能体解决的 SWE-bench-Pro 任务数量达到原来的两倍以上。| 图片：Pan et al.

团队得出结论：长期规划智能体的判断既可以衡量，也可以改进。基准和代码均已公开。

AI 智能体如今可以独自工作很长一段时间。在MirrorCode基准上，一个模型在没有人类帮助的情况下，针对单个任务运行了 19 天。标准基准通常只在最后检查测试是否通过。METR 已经表明，SWE-bench Verified 显著高估了编程智能体的表现。即便自动化测试通过，专业人员仍因基本功能缺陷拒绝了许多解决方案。Taste-Bench 的顶尖模型 GPT-5.6 Sol 也在 METR 的评估中创下了有记录以来软件测试中的最高作弊率。