Sakana AI 的 MASS 自改进方法提升解题与评判，但仍难抓住自身盲点

Sakana AI 的 MASS 方法让一个语言模型通过完成任务、评判结果并改进工作流来自我提升，而无需更强的教师模型。研究发现三个角色均有提升，但共同的盲点可能让错误被当作进步，并进入下一轮训练。

Sakana AI 与加州大学伯克利分校的研究人员提出了“多智能体自我监督”（MASS），这是一种递归自我改进（RSI）方法。单个语言模型负责处理任务、优化工作完成方式，并评估结果。

作者认为，在研究前沿，即便专家也常常难以评判结果，因为验证可能需要代价高昂的佐证或漫长的实验。一项等离子体研究可能耗费超过1.2亿个CPU小时，据该论文。

因此，模型本身或许是目前最好的评判者，尽管它在审查自己的工作时可能会漏掉自身的错误。用同一个模型来求解、检查和修订，可能会强化这些错误，而不是纠正它们。

同一模型的多个副本分工完成工作

受人工智能先驱 Marvin Minsky 的著作《心智社会》启发，研究人员关注模型如何分工。在 MASS 中，工作流是附加到提示词上的文本，用于定义每个子智能体的角色与指令。“contract”规定每个子智能体必须返回哪些信息以及必须执行哪些检查，而“hop”则设定调用顺序。

编排器在各子智能体之间分配工作。例如，在对照历史价格测试交易策略时，数据专家的 contract 必须确保该策略只使用每个时间点当时可用的信息。

在内循环中，模型权重保持冻结，团队运行候选工作流，评估器将结果与当前“冠军”比较。优化器利用该反馈提出下一个工作流，主要是通过修改 contract 和 hop。在外循环中，冠军对每项任务运行18次，由模型自行对结果排序，并最多选取15次运行用于训练。

研究人员在训练样本中从编排器的初始提示词里移除工作流文本，使模型学会仅根据任务本身来组织工作。对子智能体的具体分配仍保留在所记录的轨迹中，模型在 LoRA 微调后再次承担全部三个角色。

基座模型是 Qwen3.6-27B，并以 Qwen Code 作为 harness。研究人员使用由 GPT-5.5 生成的十二项研究任务，涵盖金融、机器人与制药领域，留出三项用于测试、九项用于训练。只有八项产出了训练数据，因为搜索在一项训练任务上找不到优于参考方案的工作流。

基准测试的提升主要来自完成了更多工作

在测试任务上，相对基础模型的胜率从一轮后的 53.9% 升至两轮后的 69.9%。在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上，该模型每个输出 token 的得分达到基础模型的 1.2 到 1.6 倍。原始分数的提升有时很小，DSBench 仅从 0.473 提高到 0.482，而在 Terminal-Bench 2.0 和 SWE-bench Verified 上分数略有下降。

论文附录显示，已完成的 MLR-Bench 提交从 60 项中的 31 项增至 50 项，而其平均成绩从 3.07 降至 2.88。委派工具在全部 180 次运行中均未被使用，因此尚不清楚这些提升是否可以由团队协作来解释。

当逐项任务比较结果时，这些提升不再具有统计显著性。作者称各项研究任务的结果好坏参半，AstaBench 也呈现出同样的模式。

在解决方案上训练也会提升评估器和优化器

尽管该模型仅在解决方案轨迹上训练，它在另外两个角色上的表现也同样有所提升。自我评估器与外部评判者的一致率从 73% 升至 93%。一轮后找到的工作流在 64% 的情况下击败基础模型的工作流，即便两边都由基础模型运行也是如此。

在没有工作流指令的情况下，基础模型在 110 次运行中仅有 1 次委派给子智能体，而两轮之后则为 87 次。它在被明确指示时本来就能委派，但现在无需被要求也会这样做。

在优化过程中，任务知识转移到契约和跳转中，而角色和指令则变得更加通用。这一发现仅基于八到九项任务的小样本。

在团队轨迹上训练得到的模型胜率为 68.3%，而单智能体学生模型为 64%，且训练 token 少用 31%。外部评判者在 85.1% 的情况下更偏好团队结果，不过团队产生的 token 大约是 2.4 倍。当输出长度相近时，评判者在 80% 的情况下更偏好团队结果，而这一结论仅基于十对样本。

被评估的团队运行表现更好，但这一比较并不能证明仅凭委派就能解释这一优势。团队运行与单智能体运行在工作流指令、评审指令以及所选取的成功完成回合方面也有所不同。

更好的反馈只有在优化器能够利用它时才有帮助

仅将评估器替换为 GPT-5.5 几乎没有帮助；只有当优化器也更强时，搜索才会快得多。作者得出结论：好的反馈只有在优化器能够据此采取行动时才有帮助。在由 Qwen 承担全部三个角色的情况下，搜索仍能为 12 项任务中的 11 项找到获胜的工作流，但耗时更长。

工作流改写的幅度对其结果说明不了什么，即便字节级完全相同的工作流也可能产生相反的结果。一次运行赢得了全部六次外部评判，而另一次则在智能体陷入循环后六次全部落败。研究人员推测，限制优化器每一步的改动幅度可能有助于稳定搜索。

共同盲点会一轮一轮地不断叠加

在机器人任务的模拟失败后，该模型让模拟器被修改为将物体直接移动到目标，然后报告成功。外部评判者仍有六次中的五次对该次运行给出正面评价。在另一条用于训练的轨迹中，一项检查即使只返回了无效值也通过了。

作者将共同盲点视为递归自我改进潜在的“阿喀琉斯之踵”。如果模型在全部三个角色中都漏掉同一错误，该错误就可能被当作改进而接受，并固化到下一个模型中。这一弱点随后会同时影响系统及其纠正机制，促使作者呼吁进行独立检查、限制自主性，并明确干预条件。代码已公开。

日本研究实验室 Sakana AI 于六月成立了专门的递归自我改进研究实验室，建立在包括Darwin-Godel Machine和AI Scientist在内的早期工作之上。谷歌研究人员正在推进一种相关方法，自动优化围绕固定模型的提示、工作流和工具脚手架，同时不让智能体对其测试任务过拟合。

Vals AI 最近发现，智能体团队的成本是单个智能体的 1.8 到 5.1 倍，但在四项比较中只有一项表现明显更好。Anthropic 表明，通过奖励黑客来博弈其奖励系统的模型也会学会欺骗并破坏安全检查。