测试结果

我们研究了什么:当一组智能体通过内核工作、且来源被撤回两次时,会发生什么变化。

同一组智能体,分别在接入内核(K)、原生 Temporal(T)和原生 LangGraph(L)的条件下,阅读 MCP 规范五个版本中的 22 页,并经历两次来源撤回(2A、2B)。

实测:撤回被保住

在单模型运行的 12 次评分中,内核一方每次都保住了两次撤回。不接入内核的一方,在 12 次评分中分别有 10 次(T)和 8 次(L)完全保住,其余为部分保住。

评分对象是单模型运行(Claude Haiku 5.5 与 DeepSeek Flash,每次比较两种标签顺序):回答在来源被撤回后是否仍遵守撤回。

内核(K)12 / 12 次
Temporal(T)10 / 12 次完全保住,2 次部分保住
LangGraph(L)8 / 12 次完全保住,4 次部分保住

内核由设计保证的事

每条被接受的引用都逐字节一致,每条结论都写明了自己依据的引用。所以撤回影响了哪些结论,是从这些链接中读出的,而不是去问模型;任何人也可以用回执核验日志。这是设计的属性,不是统计结果。

回答质量:我们不声称有提升。样本量很小,在单模型运行中,除一项差异外,其余都在误差范围内。

  • 内核(K)
  • Temporal(T)
  • LangGraph(L)

每根柱子是正确陈述的占比,范围 0 到 100%。

四家厂商,0.2 对照运行:K 为新跑,T 和 L 取自第 2 次运行并重新评分

K 在 0.2 上新跑;T 和 L 取自第 2 次运行并重新评分。

阅读后
98.9
66.7
89.6
2A
98.9
89.6
83.8
2B
98.9
85.9
92.5
展开细节 (8)

Claude Haiku 5.5

阅读后
89.9
79.3
84.9
2A
90.5
86.6
88.8
2B
88.7
86.7
85.8

DeepSeek Flash,系列 1

阅读后
91.8
83.3
83.0
2A
91.8
74.6
81.4
2B
91.7
91.9
86.7

DeepSeek Flash,系列 2

阅读后
89.6
92.1
84.9
2A
89.6
83.8
85.2
2B
89.7
81.0
88.9

四家厂商,第 1 次运行,0.1.6 修复之前

阅读后
87.8
86.6
84.0
2A
83.6
93.7
67.1
2B
87.0
92.5
82.3

四家厂商,第 2 次运行

阅读后
88.2
50.0
81.8
2A
85.9
80.5
77.5
2B
82.2
70.4
76.9

四家厂商,0.1.7 对照运行:K 为新跑,T 和 L 取自第 2 次运行并重新评分

K 在 0.1.7 上重新运行;T 和 L 取自第 2 次运行并重新评分。

阅读后
82.0
56.9
86.4
2A
87.1
87.7
77.5
2B
82.6
78.2
83.8

同一次评分,0.1.7 对照运行的 K

0.1.7 对照运行的 K,由同一位评分者重新评分。

阅读后
86.5
66.7
89.6
2A
86.5
89.6
83.8
2B
88.8
85.9
92.5

三个 DeepSeek Flash 读者,0.2,开启补漏阅读,没有不接入内核的一方

只运行了内核一方。

阅读后
91.5
2A
90.4
2B
91.4

评分者:Fable 5.1(Claude Haiku 5.5 一行),Opus 5.5(0.1.7 及之前的各行),Fable 5.2(最后三行);样本量和区间见 BENCHMARKS.md。

同样的数字,以表格显示(含每一行的评分者)
被评为正确的陈述占比,%。K / T / L。
智能体(评分模型)阅读后撤回 2A 后撤回 2B 后
Claude Haiku 5.5(Fable 5.1)89.9 / 79.3 / 84.990.5 / 86.6 / 88.888.7 / 86.7 / 85.8
DeepSeek Flash,系列 1(Opus 5.5)91.8 / 83.3 / 83.091.8 / 74.6 / 81.491.7 / 91.9 / 86.7
DeepSeek Flash,系列 2(Opus 5.5)89.6 / 92.1 / 84.989.6 / 83.8 / 85.289.7 / 81.0 / 88.9
四家厂商,第 1 次运行,0.1.6 修复之前(Opus 5.5)87.8 / 86.6 / 84.083.6 / 93.7 / 67.187.0 / 92.5 / 82.3
四家厂商,第 2 次运行(Opus 5.5)88.2 / 50.0 / 81.885.9 / 80.5 / 77.582.2 / 70.4 / 76.9
四家厂商,0.1.7 对照运行:K 为新跑,T 和 L 取自第 2 次运行并重新评分(Opus 5.5)82.0 / 56.9 / 86.487.1 / 87.7 / 77.582.6 / 78.2 / 83.8
四家厂商,0.2 对照运行:K 为新跑,T 和 L 取自第 2 次运行并重新评分(Fable 5.2)98.9 / 66.7 / 89.698.9 / 89.6 / 83.898.9 / 85.9 / 92.5
同一次评分,0.1.7 对照运行的 K(Fable 5.2)86.5 / 66.7 / 89.686.5 / 89.6 / 83.888.8 / 85.9 / 92.5
三个 DeepSeek Flash 读者,0.2,开启补漏阅读,没有不接入内核的一方(Fable 5.2)91.5 / – / –90.4 / – / –91.4 / – / –

我们并不声称提升了回答质量。在 0.2 的对照运行中,同样四家厂商的四个读者,在 0.2 上各阶段正确率都是 98.9%,在 0.1.7 上为 86.5–88.8%。这一差距大于评分者自身的波动(同一文本最多相差 2.6 个百分点,两种标签顺序之间相差 5.6 个百分点),但每一侧只有一次运行。

0.2 的对照运行

只运行内核一方的两次运行,由一位评分者(Claude Fable 5.2)盲评。数字来自评分和日志,与 BENCHMARKS.md 所列一致。

  • 四家厂商、补漏阅读关闭:两次撤回在两种标签顺序下都被保住,评分者在内核的回答中没有发现把较早的状态写成当前状态的情况,而 0.1.7 为 8 到 12 处。
  • 三个 DeepSeek Flash 读者、开启补漏阅读:第二次撤回只被部分保住。0.2.1 调整了撤回之后的修复;还没有用模型的运行测量过这一改动。
  • 来自日志,无需模型:每次撤回之后,内核报告为有依据的结论,没有一条依据与被撤回文本重叠的引用(一次运行中为 0/940 和 0/936,另一次为 0/815 和 0/816)。
  • 最后回答的 93 行和 91 行各切出一份凭证,无需日志即可核验(7.2 到 24.2 KB)。已经失去依据的结论得不到凭证:它已失去依据,由“什么失去了依据”的报告说明。
第二个语料上的补漏阅读

在 A2A 规范上,开启补漏阅读的两次运行和未开启的两次运行相比,开启的一侧按预注册规则把更多已结束的事实说成仍然有效:这一结果对补漏阅读不利。这一比较无法把补漏阅读与内核挑选记录时的一处缺陷区分开;0.2.1 已修正该缺陷,但尚未用模型重新测量。补漏阅读仍默认关闭。

这份记录的成本

这份记录来自额外的工作:智能体核对依据,并在撤回后重新阅读。

耗时成本
Claude Haiku 5.52.3 到 2.5 倍1.4 倍
DeepSeek Flash1.2 到 1.3 倍1.5 到 1.6 倍

规模

按 0.1 的测量,建议:同时最多 8 个智能体,每次运行几千条记录;约 3,000 条记录的日志约两秒即可重新打开。

方法、局限与完整数据

通往 YuCe 之路:我们如何走到这个内核