4つの開発元、0.2の対照実行:Kは新規、TとLは2回目のものを再採点
Kは0.2で新規実行。TとLは2回目から再採点。
単一モデルの実行では、カーネルを使った側は、12回の採点のすべてで、2回の撤回の両方を保持しました。カーネルなしの側が完全に保持したのは、Tが12回中10回、Lが12回中8回で、残りは部分的でした。
単一モデルの実行の採点(Claude Haiku 5.5とDeepSeek Flash、それぞれラベルの順序を2通り):回答は撤回を保持したか。
受け入れられた引用はすべてバイト単位で一致します。すべての主張は、根拠とする引用を挙げています。そのため、撤回が何に及ぶかは、モデルに尋ねるのではなく、そのリンクから読み取られ、ジャーナルは、誰でも受領証と照らして確認できます。これは設計の性質であり、統計ではありません。
各棒は、正しい記述の割合で、0から100%の範囲です。
Kは0.2で新規実行。TとLは2回目から再採点。
Kは0.1.7で再実行。TとLは2回目から再採点。
0.1.7の対照実行のKを、同じ採点者が再採点。
カーネルを使った側だけを実行しました。
採点者:Fable 5.1(Claude Haiku 5.5の行)、Opus 5.5(0.1.7以前の行)、Fable 5.2(最後の3行)。サンプル数と区間はBENCHMARKS.mdにあります。
| エージェント(採点者) | 読み取り後 | 撤回2A後 | 撤回2B後 |
|---|---|---|---|
| Claude Haiku 5.5(Fable 5.1) | 89.9 / 79.3 / 84.9 | 90.5 / 86.6 / 88.8 | 88.7 / 86.7 / 85.8 |
| DeepSeek Flash、シリーズ1(Opus 5.5) | 91.8 / 83.3 / 83.0 | 91.8 / 74.6 / 81.4 | 91.7 / 91.9 / 86.7 |
| DeepSeek Flash、シリーズ2(Opus 5.5) | 89.6 / 92.1 / 84.9 | 89.6 / 83.8 / 85.2 | 89.7 / 81.0 / 88.9 |
| 4つの開発元、1回目、0.1.6の修正前(Opus 5.5) | 87.8 / 86.6 / 84.0 | 83.6 / 93.7 / 67.1 | 87.0 / 92.5 / 82.3 |
| 4つの開発元、2回目(Opus 5.5) | 88.2 / 50.0 / 81.8 | 85.9 / 80.5 / 77.5 | 82.2 / 70.4 / 76.9 |
| 4つの開発元、0.1.7の対照実行:Kは新規、TとLは2回目のものを再採点(Opus 5.5) | 82.0 / 56.9 / 86.4 | 87.1 / 87.7 / 77.5 | 82.6 / 78.2 / 83.8 |
| 4つの開発元、0.2の対照実行:Kは新規、TとLは2回目のものを再採点(Fable 5.2) | 98.9 / 66.7 / 89.6 | 98.9 / 89.6 / 83.8 | 98.9 / 85.9 / 92.5 |
| 同じ採点による、0.1.7の対照実行のK(Fable 5.2) | 86.5 / 66.7 / 89.6 | 86.5 / 89.6 / 83.8 | 88.8 / 85.9 / 92.5 |
| DeepSeek Flashの読み取りエージェント3つ、0.2、ギャップパスあり、カーネルなしの側はなし(Fable 5.2) | 91.5 / – / – | 90.4 / – / – | 91.4 / – / – |
回答の質の向上は主張しません。0.2の対照実行では、同じ4つの読み取りエージェントが、0.2ではすべての段階で98.9%、0.1.7では86.5〜88.8%でした。この差は、採点者自身のぶれ(同じテキストで最大2.6ポイント、2通りのラベル順序の間で5.6ポイント)より大きいものの、どちらも1回の実行にすぎません。
カーネル側だけの2回の実行を、一人の採点者(Claude Fable 5.2)が盲検で採点しました。数字は、BENCHMARKS.mdに示されているとおり、採点とジャーナルから得たものです。
A2A仕様での、ギャップパスありの2回の実行となしの2回の実行では、事前登録された規則により、パスありの側が、すでに終わった事実を現在のものとして述べることが多くなりました。これはパスにとって不利な結果です。この比較では、パスの影響と、カーネルが主張を選ぶ際の欠陥の影響を切り分けられません。0.2.1はこの欠陥を修正しましたが、モデルを使った実行で修正を測定したものは、まだありません。ギャップパスは、既定では無効のままです。
記録は、追加の作業から生まれます。エージェントが根拠を確認し、撤回のあとに読み直します。
| 実行時間 | コスト | |
|---|---|---|
| Claude Haiku 5.5 | 2.3〜2.5倍 | 1.4倍 |
| DeepSeek Flash | 1.2〜1.3倍 | 1.5〜1.6倍 |