結果

調べたこと:エージェントのチームがカーネルを通して作業し、出典が2回撤回されたときに、何が変わるか。

同じエージェントのチームを、カーネルあり(K)と、カーネルなしのネイティブのTemporal(T)、カーネルなしのネイティブのLangGraph(L)で動かしました。対象は、5つの改訂にわたるMCP仕様の22ページと、2回の出典の撤回(2Aと2B)です。

測定:撤回は保持された

単一モデルの実行では、カーネルを使った側は、12回の採点のすべてで、2回の撤回の両方を保持しました。カーネルなしの側が完全に保持したのは、Tが12回中10回、Lが12回中8回で、残りは部分的でした。

単一モデルの実行の採点(Claude Haiku 5.5とDeepSeek Flash、それぞれラベルの順序を2通り):回答は撤回を保持したか。

カーネル(K)12回中12回
Temporal(T)12回中10回は完全に、2回は部分的に
LangGraph(L)12回中8回は完全に、4回は部分的に

カーネルが構造によって保証すること

受け入れられた引用はすべてバイト単位で一致します。すべての主張は、根拠とする引用を挙げています。そのため、撤回が何に及ぶかは、モデルに尋ねるのではなく、そのリンクから読み取られ、ジャーナルは、誰でも受領証と照らして確認できます。これは設計の性質であり、統計ではありません。

回答の質:向上は主張しません。サンプルは小さく、単一モデルの実行では、一つを除くすべての差が誤差の範囲内です。

  • カーネル(K)
  • Temporal(T)
  • LangGraph(L)

各棒は、正しい記述の割合で、0から100%の範囲です。

4つの開発元、0.2の対照実行:Kは新規、TとLは2回目のものを再採点

Kは0.2で新規実行。TとLは2回目から再採点。

読み取り
98.9
66.7
89.6
2A
98.9
89.6
83.8
2B
98.9
85.9
92.5
詳しく見る (8)

Claude Haiku 5.5

読み取り
89.9
79.3
84.9
2A
90.5
86.6
88.8
2B
88.7
86.7
85.8

DeepSeek Flash、シリーズ1

読み取り
91.8
83.3
83.0
2A
91.8
74.6
81.4
2B
91.7
91.9
86.7

DeepSeek Flash、シリーズ2

読み取り
89.6
92.1
84.9
2A
89.6
83.8
85.2
2B
89.7
81.0
88.9

4つの開発元、1回目、0.1.6の修正前

読み取り
87.8
86.6
84.0
2A
83.6
93.7
67.1
2B
87.0
92.5
82.3

4つの開発元、2回目

読み取り
88.2
50.0
81.8
2A
85.9
80.5
77.5
2B
82.2
70.4
76.9

4つの開発元、0.1.7の対照実行:Kは新規、TとLは2回目のものを再採点

Kは0.1.7で再実行。TとLは2回目から再採点。

読み取り
82.0
56.9
86.4
2A
87.1
87.7
77.5
2B
82.6
78.2
83.8

同じ採点による、0.1.7の対照実行のK

0.1.7の対照実行のKを、同じ採点者が再採点。

読み取り
86.5
66.7
89.6
2A
86.5
89.6
83.8
2B
88.8
85.9
92.5

DeepSeek Flashの読み取りエージェント3つ、0.2、ギャップパスあり、カーネルなしの側はなし

カーネルを使った側だけを実行しました。

読み取り
91.5
2A
90.4
2B
91.4

採点者:Fable 5.1(Claude Haiku 5.5の行)、Opus 5.5(0.1.7以前の行)、Fable 5.2(最後の3行)。サンプル数と区間はBENCHMARKS.mdにあります。

同じ数字を表で(各行の採点者つき)
正しいと判定された記述の割合、%。K / T / L。
エージェント(採点者)読み取り後撤回2A後撤回2B後
Claude Haiku 5.5(Fable 5.1)89.9 / 79.3 / 84.990.5 / 86.6 / 88.888.7 / 86.7 / 85.8
DeepSeek Flash、シリーズ1(Opus 5.5)91.8 / 83.3 / 83.091.8 / 74.6 / 81.491.7 / 91.9 / 86.7
DeepSeek Flash、シリーズ2(Opus 5.5)89.6 / 92.1 / 84.989.6 / 83.8 / 85.289.7 / 81.0 / 88.9
4つの開発元、1回目、0.1.6の修正前(Opus 5.5)87.8 / 86.6 / 84.083.6 / 93.7 / 67.187.0 / 92.5 / 82.3
4つの開発元、2回目(Opus 5.5)88.2 / 50.0 / 81.885.9 / 80.5 / 77.582.2 / 70.4 / 76.9
4つの開発元、0.1.7の対照実行:Kは新規、TとLは2回目のものを再採点(Opus 5.5)82.0 / 56.9 / 86.487.1 / 87.7 / 77.582.6 / 78.2 / 83.8
4つの開発元、0.2の対照実行:Kは新規、TとLは2回目のものを再採点(Fable 5.2)98.9 / 66.7 / 89.698.9 / 89.6 / 83.898.9 / 85.9 / 92.5
同じ採点による、0.1.7の対照実行のK(Fable 5.2)86.5 / 66.7 / 89.686.5 / 89.6 / 83.888.8 / 85.9 / 92.5
DeepSeek Flashの読み取りエージェント3つ、0.2、ギャップパスあり、カーネルなしの側はなし(Fable 5.2)91.5 / – / –90.4 / – / –91.4 / – / –

回答の質の向上は主張しません。0.2の対照実行では、同じ4つの読み取りエージェントが、0.2ではすべての段階で98.9%、0.1.7では86.5〜88.8%でした。この差は、採点者自身のぶれ(同じテキストで最大2.6ポイント、2通りのラベル順序の間で5.6ポイント)より大きいものの、どちらも1回の実行にすぎません。

0.2の対照実行

カーネル側だけの2回の実行を、一人の採点者(Claude Fable 5.2)が盲検で採点しました。数字は、BENCHMARKS.mdに示されているとおり、採点とジャーナルから得たものです。

  • 4つの開発元でギャップパスなしの場合、2回の撤回は、どちらのラベル順序でも保持され、採点者は、カーネルの回答に、以前の状態が現在のものとして書かれている箇所を見つけませんでした。0.1.7では8〜12箇所でした。
  • DeepSeek Flashの3つの読み取りエージェントでギャップパスありの場合、2回目の撤回は部分的に保持されました。0.2.1では撤回後の修復を変更しましたが、モデルを使った実行ではまだ測定していません。
  • ジャーナルから、モデルなしで:各撤回のあと、カーネルが根拠ありと報告する主張で、撤回されたテキストに重なる引用を根拠とするものはありませんでした(一方の実行では940件中0件と936件中0件、もう一方では815件中0件と816件中0件)。
  • 最後の回答の93行と91行のそれぞれに証憑が切り出され、ジャーナルなしで検証できました(7.2〜24.2KB)。根拠を失った主張には証憑はありません。根拠を失ったことは、「何が根拠を失ったか」のレポートが示します。
ギャップパスを、別のコーパスで

A2A仕様での、ギャップパスありの2回の実行となしの2回の実行では、事前登録された規則により、パスありの側が、すでに終わった事実を現在のものとして述べることが多くなりました。これはパスにとって不利な結果です。この比較では、パスの影響と、カーネルが主張を選ぶ際の欠陥の影響を切り分けられません。0.2.1はこの欠陥を修正しましたが、モデルを使った実行で修正を測定したものは、まだありません。ギャップパスは、既定では無効のままです。

記録のコスト

記録は、追加の作業から生まれます。エージェントが根拠を確認し、撤回のあとに読み直します。

実行時間コスト
Claude Haiku 5.52.3〜2.5倍1.4倍
DeepSeek Flash1.2〜1.3倍1.5〜1.6倍

規模

0.1での測定に基づく推奨:同時に最大8エージェント、数千件の記録の実行。約3,000件の記録のジャーナルは、約2秒で再び開きます。

方法、制限、全データ

YuCeへの道:カーネルにたどり着くまで