评测来源官方评测
ARC-AGI-2
ARC Prize / 推理 · 从陌生规则中学习和泛化
在 协同HOT 中观察中
证据预算不计分
上游数据时间待核实
最近成功同步尚未开始采集
它测什么,怎么测
固定标准 harness,与提供商专门优化的 adapter 成绩分开。
如何使用这份证据
观察中:官网 Terms 对系统性采集和聚合要求书面许可;当前官方成绩的聚合边界尚待落实。标准 harness 与 Provider Adapter 分开,不拿专用适配器最高分代表普通模型。
评测局限与数据署名
观察中:官网 Terms 对系统性采集和聚合要求书面许可;当前官方成绩的聚合边界尚待落实。标准 harness 与 Provider Adapter 分开,不拿专用适配器最高分代表普通模型。
数据许可:待确认榜单数据使用边界
成绩由 ARC Prize 发布,原始分数与 协同HOT 共识分使用不同尺度,不能直接相加。