AIレビュアーが止まらない問題──GPT-5.6とFable 5で見えた「完璧主義の罠」と収束判断の設計論

GPT-5.6 SolやFable 5といった最新世代のAIモデルを設計レビューに投入した開発者が、予想外の課題に直面しました。4時間42分、6時間超という長時間にわたってレビューを実行させても、AIは次々と新しい改善点を発見し続け、自然な終了点に到達しなかったのです。

重要なのは、これが「AIの性能不足」ではなく、むしろ**その逆の問題**だということ。修正するたびに別の正当な指摘が生まれる状況は、従来の静的解析ツールでは考えられなかった「高性能ゆえのジレンマ」を示しています。

この事例が示すのは、AIを実務に組み込む際の新しい設計原則です。AIの能力が向上するほど、「いつ止めるか」という人間側の判断メカニズムが決定的に重要になります。

報告されたアプローチは、大規模な設計変更前に複数のAIエージェントを並列実行する手法です。基本的な構造は以下のようになっています。

3視点での並列レビュー実行

これらのレビュアーを独立して実行し、発見された問題（finding）を構造化して収集します。理論上は、修正を繰り返すことでfindingがゼロに収束するはずでした。

実際に起きた「収束しない問題」

予想に反して、両モデルとも以下の挙動を示しました。

1. 修正を反映するたびに**別の正当な問題**を発見

2. 指摘の質は維持されたまま、新たな観点からの改善提案が継続

3. 自然な「レビュー完了」状態に到達せず、人間が強制終了

これは従来のリンターやコードレビューツールとは根本的に異なる挙動です。ルールベースのツールは検出項目が有限ですが、LLMベースのレビュアーは文脈理解能力により、**無限に近い改善可能性**を探索し続けます。

従来のコードレビューツールとの本質的な違い

SonarQubeやESLintといった静的解析ツールは、事前定義されたルールセットに基づいて動作します。全ルールをチェックすれば必ず終了し、「残存する警告数」が明確に可視化されます。一方、LLMレビュアーは**生成的な性質**を持つため、同じコードでも異なる角度から無限に分析できます。

GitHub CopilotやAmazon CodeWhispererのようなAIコーディング支援ツールとも異なります。これらは「提案して終わり」ですが、レビュアーモードのAIは**対話的なフィードバックループ**に入るため、収束条件の設計が不可欠です。

高性能AIがもたらす「完璧主義の罠」

この事例が示す核心的な問題は、**AI性能の向上が必ずしも実用性の向上を意味しない**という逆説です。

**メリット**:

**注意点と課題**:

この問題は、AIが**80点から95点への改善と、95点から98点への改善を区別できない**ことに起因します。人間のレビュアーなら「これ以上は過剰最適化だ」と判断しますが、AIには暗黙の「これで十分」基準がありません。

適用が有効なケースと向かないケース

**このアプローチが効果的な場面**:

**向かない場面**:

必要な新しい設計パターン: 「収束判定レイヤー」

報告者が指摘する「reviewerとは別に、何を残して止めるかを決める仕組み」は、AIシステム設計の新しいパターンを示唆しています。

実装すべき要素:

1. **重要度スコアリング**: 各findingに影響度・緊急度をスコア化

2. **収束閾値の設定**: 「新規findingの重要度が閾値未満なら終了」

3. **時間・コスト予算**: APIコール数や経過時間での強制打ち切り

4. **人間承認ポイント**: 一定サイクルごとに「続行するか」を判断

5. **差分分析**: 前回レビューとの変更量が小さければ収束と判定

これは「AIオーケストレーション層」と呼べるもので、複数のAIエージェントを統制する**メタレベルの制御システム**です。

1. レビューに「時間予算」と「品質閾値」を設定する

AIレビューを導入する際は、開始前に明確な終了条件を設定しましょう。

review_config = {
    "max_iterations": 3,  # 最大レビューサイクル数
    "max_duration_minutes": 30,  # 最大実行時間
    "severity_threshold": "medium",  # この重要度未満は無視
    "convergence_rate": 0.8  # 新規発見が前回の80%未満なら終了
}

このような設定をプロンプトまたはシステムパラメータとして明示的に与えることで、無限ループを防げます。

2. 「残す問題」のトリアージ基準を事前定義する

すべての指摘に対応する必要はありません。プロジェクト開始時に、以下のような判断マトリクスを用意しましょう。

| 重要度 | 対応方針 |

|--------|----------|

| Critical | 即座に修正、リリースブロック |

| High | 現スプリント内で対応 |

| Medium | バックログに追加、次回検討 |

| Low | 記録のみ、対応しない |

AIのレビュー結果をこの基準で自動分類することで、「何を残して進むか」の判断が明確になります。

3. 段階的レビュー戦略を採用する

すべてを一度にレビューするのではなく、段階的なアプローチが有効です。

**第1段階（15分）**: アーキテクチャの大枠のみレビュー

**第2段階（30分）**: 致命的な問題に絞った詳細レビュー

**第3段階（任意）**: 残された中程度の問題の精査

この戦略により、「いつでも止められる」柔軟性を維持しながら、段階的に品質を高められます。各段階の終了時に「ここで止めるか続けるか」を判断するチェックポイントを設けることがポイントです。

この事例は、AI能力の向上が新たな設計課題を生み出すことを鮮明に示しています。「賢いAI」を単に導入するだけでは不十分で、それを**いつ、どう止めるか**という人間側の判断フレームワークが不可欠です。

次世代のAI開発ツールは、単なる「より良い提案」ではなく、「適切な収束」を組み込んだシステムとして設計されるべきでしょう。完璧を目指すAIと、実用的な妥協点を見極める人間の協働──これが今後のAI支援開発の標準モデルになっていくはずです。

この情報は @hrmtz さんの投稿を参考にしています。