评测来源官方评测
τ³-Banking
Sierra / 专业办公 · 在统一工具环境中办理银行业务,检验规则理解、客户沟通与任务完成。
在 协同HOT 中等待成绩
证据预算2%
上游数据时间待核实
最近成功同步等待可比成绩
它测什么,怎么测
只比较官方 standard 银行业务、v1.0.1、alltools 和 GPT-5.2 用户模拟器;采用 pass@1。不同工具、提示、模拟器、语音模式与自定义系统不混排。
如何使用这份证据
正式计分;占工具与办公预算 2%,Mercor APEX 共用的两个环境合计调整为 4%。金融业务不代表已经覆盖法律、电商等全部行业。
评测局限与数据署名
成绩属于固定银行任务系统,依赖模拟用户与工具协议;不是所有职业的通用正确率。
数据许可:MIT · Sierra Research tau2-bench 官方仓库;保留来源署名。
成绩由 Sierra 发布,原始分数与 协同HOT 共识分使用不同尺度,不能直接相加。