四家厂商,0.2 对照运行:K 为新跑,T 和 L 取自第 2 次运行并重新评分
K 在 0.2 上新跑;T 和 L 取自第 2 次运行并重新评分。
在单模型运行的 12 次评分中,内核一方每次都保住了两次撤回。不接入内核的一方,在 12 次评分中分别有 10 次(T)和 8 次(L)完全保住,其余为部分保住。
评分对象是单模型运行(Claude Haiku 5.5 与 DeepSeek Flash,每次比较两种标签顺序):回答在来源被撤回后是否仍遵守撤回。
每条被接受的引用都逐字节一致,每条结论都写明了自己依据的引用。所以撤回影响了哪些结论,是从这些链接中读出的,而不是去问模型;任何人也可以用回执核验日志。这是设计的属性,不是统计结果。
每根柱子是正确陈述的占比,范围 0 到 100%。
K 在 0.2 上新跑;T 和 L 取自第 2 次运行并重新评分。
K 在 0.1.7 上重新运行;T 和 L 取自第 2 次运行并重新评分。
0.1.7 对照运行的 K,由同一位评分者重新评分。
只运行了内核一方。
评分者:Fable 5.1(Claude Haiku 5.5 一行),Opus 5.5(0.1.7 及之前的各行),Fable 5.2(最后三行);样本量和区间见 BENCHMARKS.md。
| 智能体(评分模型) | 阅读后 | 撤回 2A 后 | 撤回 2B 后 |
|---|---|---|---|
| Claude Haiku 5.5(Fable 5.1) | 89.9 / 79.3 / 84.9 | 90.5 / 86.6 / 88.8 | 88.7 / 86.7 / 85.8 |
| DeepSeek Flash,系列 1(Opus 5.5) | 91.8 / 83.3 / 83.0 | 91.8 / 74.6 / 81.4 | 91.7 / 91.9 / 86.7 |
| DeepSeek Flash,系列 2(Opus 5.5) | 89.6 / 92.1 / 84.9 | 89.6 / 83.8 / 85.2 | 89.7 / 81.0 / 88.9 |
| 四家厂商,第 1 次运行,0.1.6 修复之前(Opus 5.5) | 87.8 / 86.6 / 84.0 | 83.6 / 93.7 / 67.1 | 87.0 / 92.5 / 82.3 |
| 四家厂商,第 2 次运行(Opus 5.5) | 88.2 / 50.0 / 81.8 | 85.9 / 80.5 / 77.5 | 82.2 / 70.4 / 76.9 |
| 四家厂商,0.1.7 对照运行:K 为新跑,T 和 L 取自第 2 次运行并重新评分(Opus 5.5) | 82.0 / 56.9 / 86.4 | 87.1 / 87.7 / 77.5 | 82.6 / 78.2 / 83.8 |
| 四家厂商,0.2 对照运行:K 为新跑,T 和 L 取自第 2 次运行并重新评分(Fable 5.2) | 98.9 / 66.7 / 89.6 | 98.9 / 89.6 / 83.8 | 98.9 / 85.9 / 92.5 |
| 同一次评分,0.1.7 对照运行的 K(Fable 5.2) | 86.5 / 66.7 / 89.6 | 86.5 / 89.6 / 83.8 | 88.8 / 85.9 / 92.5 |
| 三个 DeepSeek Flash 读者,0.2,开启补漏阅读,没有不接入内核的一方(Fable 5.2) | 91.5 / – / – | 90.4 / – / – | 91.4 / – / – |
我们并不声称提升了回答质量。在 0.2 的对照运行中,同样四家厂商的四个读者,在 0.2 上各阶段正确率都是 98.9%,在 0.1.7 上为 86.5–88.8%。这一差距大于评分者自身的波动(同一文本最多相差 2.6 个百分点,两种标签顺序之间相差 5.6 个百分点),但每一侧只有一次运行。
只运行内核一方的两次运行,由一位评分者(Claude Fable 5.2)盲评。数字来自评分和日志,与 BENCHMARKS.md 所列一致。
在 A2A 规范上,开启补漏阅读的两次运行和未开启的两次运行相比,开启的一侧按预注册规则把更多已结束的事实说成仍然有效:这一结果对补漏阅读不利。这一比较无法把补漏阅读与内核挑选记录时的一处缺陷区分开;0.2.1 已修正该缺陷,但尚未用模型重新测量。补漏阅读仍默认关闭。
这份记录来自额外的工作:智能体核对依据,并在撤回后重新阅读。
| 耗时 | 成本 | |
|---|---|---|
| Claude Haiku 5.5 | 2.3 到 2.5 倍 | 1.4 倍 |
| DeepSeek Flash | 1.2 到 1.3 倍 | 1.5 到 1.6 倍 |