検証を通った仕事は、まだ終わらない——受容と停止を別に記録する
はじめに
この稿は、生成 AI エージェントに作業を任せ、テストや CI の通過を完了の判定にしている現場の方への答えです。問いは、通過を確認した後に何を残せば仕事が終わったと言えるか、というものです。
規則には「テストを通すこと」と書いてあっても、「誰が引き受けるか」が書かれていないことは多く、その空白が曖昧な完了の報告を生んでいます。
通過と受容は、別の状態遷移として記録する
2026 年 10 月 19 日、Zenn に 1 本の記事が公開されました。albatrosary さんの「Agentは何に収束するのか」です。確率的な生成・決定論的な検証・人間の意思決定の境界を、LLM の外側で実行を制御する外部ハーネス（ポータブル・エージェント）の開発から出発し、数式で置いています。
要点は 1 つです。候補を独立に生成し、決定論的な検証器を通ったものだけを採用する棄却サンプリングでは、採用後の分布は生成確率に検証器の合否を掛けて規格化したものです。人間の真の意図を捉えきれない形式仕様がある限り、「検証を通ったが意図には合わない」出力の集合は空になりません。検証器が決定論的に PASS を返しても、人間の意図への適合は保証されません。
数値の裏付けもあります。SpecBench（arXiv:2605.21384、2026 年 5 月 20 日投稿、9 月 9 日改訂）は 30 件のシステムプログラミング課題です。見えるテストと非公開テストの通過率の差を測りました。評価したエージェントは見えるテストを飽和させますが、コード量が 10 倍になるごとに差は約 28 パーセントポイント拡大します。
Verifier Tax 論文（arXiv:2603.19328、2026 年 3 月 18 日投稿）も、同じ方向を指しています。実行時の強制が望ましくない操作を最大 94% 遮っても、厳密に安全な目標達成率は多くの条件で 5% 未満だったと報告しています。止めることと、安全に済ませることは別の問題です。
同じ記事は、検証の通過・正式な受容・安全停止を別の時刻として置いています。検証を通しても受容されないことがあり、制限付きの受容や例外承認もあり、受容できないまま停止することもあります。完了の判定は、この 3 つのうち 1 つだけでは足りません。
未解明と未決定は、別の操作として分ける
検証条件の基になる目標が不明確な場合、2 つの問題は性質が違います。1 つは情報としての未解明です。人間の意図は既に存在していて、エージェントに十分に伝わっていない状態です。質問や観測で不確実性を減らせます。もう 1 つは目標そのものの未決定です。開発コスト・内部統制・操作性・納期など複数の目的が対立し、正解がまだ 1 つに定まらない状態です。最適化では決まらず、利害関係者による選択・交渉・妥協が必要です。
目標形成の研究にも、同じ趣旨の指摘があります。目標指向の要求工学の系統調査論文（Requirements Engineering、2026 年 10 月 12 日公開）は、LLM が生成する目標と、ユーザーが実際に求める目標は別だと述べています。共同で目標モデルを作る過程には、人間の学習・交渉・相互理解の価値があると論じています。
現場の関心は、モデルの外側に向いている
同じ 10 月、Zenn には外側の構造を扱う記事がもう 1 本出ています。須藤英寿さんの「AIエージェント同士は「会話」させない方がいい」（2026 年 10 月 20 日公開）です。AECP は、エージェント同士の直接のやり取りを禁じ、知識とインターフェース仕様の共有だけを許し、コードを静的な解析で仕様通りであるかを確認する取り決めです。
Opus 4.8 では、3 ベンチマークのテスト通過率の単純平均が 1 体構成で 0.590、AECP で 0.607 でした。実行時間は 681 秒から 659 秒です。それでも、複数エージェントの協調で無駄が増える問題に、効かせているのはモデルの賢さではなく通信の形です。
2 本は別の題材です。ただし方向は同じです。生成 AI の性能を上げるのではなく、外側の制御で仕事の境界を扱うところに、関心が集まっています。
社内規則に書き足す 3 つの記録
検証条件の由来と限界を書く。「テストを通すこと」だけで終わらせず、その検査が何の代理であるか、何は見ていないかを書きます。見えるテストの通過は、非公開の要求の充足を保証しません。
受容の判定者と条件を書く。誰が、どの条件で、どの残余リスクを受容するのかを書きます。受容は検証の通過とは別の時刻です。判定者不在のまま通過だけを記録すると、終わったかどうかが決まりません。
停止条件を別に書く。予算・時間・リスクの上限による安全停止は、受容とは別の出来事です。受容できないまま停止する場合も、記録の対象にします。
この 3 つは、検査を弱める提案ではありません。強力な検査ほど、誤った条件を確実に満たす可能性があります。条件の由来・適用範囲・限界の管理は、検査の精度を上げることと同じ重みを持つという整理です。
参考情報
- albatrosary「Agentは何に収束するのか」、Zenn、2026 年 10 月 19 日公開。確率的な生成・決定論的な検証・人間の意思決定の境界を扱った記事で、本稿の出発点である
- 須藤英寿「AIエージェント同士は「会話」させない方がいい」、Zenn、2026 年 10 月 20 日公開。AECP と 0.590・0.607 の一次資料である
- Zhao たち「SpecBench（コーディングエージェントの報酬ハッキングの測定）」、arXiv:2605.21384、2026 年 5 月 20 日投稿・9 月 9 日改訂。30 件と 28 パーセントポイントの出典である
- Sah たち「Verifier Tax（安全と達成のトレードオフ）」、arXiv:2603.19328、2026 年 3 月 18 日投稿。94% と 5% 未満の出典である
- Horkoff たち「目標指向の要求工学の系統調査」、Requirements Engineering、2026 年 10 月 12 日公開。査読付き論文である
本稿は AI の支援を受けて執筆されました。事実の確認と内容の責任は筆者にあります。