LLMの「順番理解」は本物か？Claude CodeとCodexの推論能力を検証する実験が示す限界

生成AIの能力評価において、私たちはしばしば「正答率」という数字に惑わされます。@rizumitaさんが実施した実験は、この問題の核心を突いています。Claude CodeやCodexに「Aの2回目の次は何か」という問題を解かせると高い正答率を示しますが、「AとXの出現がどう入り混じったか」を問うと途端に性能が低下するという現象です。

この結果は、AI開発者やプロンプトエンジニアにとって極めて重要な示唆を含んでいます。なぜなら、単純なベンチマークテストでは見抜けない「見かけ上の理解」と「真の推論能力」の境界を明らかにするからです。

今回の実験では、研究プロトタイプRSM-0を使用して、LLMの正答を2つのカテゴリーに分類しました。

1. 真に順番を理解した正答

単一要素の出現回数を追跡する問題（例：「Aの2回目の次は何か」）では、両モデルとも高い正答率を記録しました。これは、LLMが持つパターン認識能力と統計的推論が有効に機能するケースです。

2. 問題設計の甘さで通過した正答

複数要素が入り混じった順序を追跡する問題では、正答率が顕著に低下しました。この結果は、LLMが「順番の概念を本質的に理解している」のではなく、「単純なパターンマッチングで正解を導出している」可能性を示唆しています。

重要なのは、同じ「正答」でも、その背後にある推論プロセスは全く異なるという点です。

他のLLMとの比較から見える共通課題

この実験結果は、Claude CodeやCodexに限った話ではありません。ChatGPT-4やGeminiなど、他の主要LLMでも同様の傾向が観察されています。編集部が独自に行った追試では、以下のような共通パターンが確認できました。

この結果が示すのは、現行のTransformerアーキテクチャにおける本質的な限界です。LLMは「統計的な次トークン予測」には長けていますが、「状態管理を伴う逐次推論」には構造的に弱いのです。

メリットと注意点の両面分析

**メリット：**

**注意点：**

適用範囲の考察

この知見は、以下のような場面で特に重要です。

**向いている用途：**

**向いていない用途：**

AIコーディングツールを使う際は、この限界を理解した上で、適切な検証体制を構築することが不可欠です。

1. 自分のユースケースで境界テストを実施する

実際に使用する問題領域で、単純な順序問題と複雑な順序問題の両方を用意し、LLMの正答率を測定しましょう。以下のようなテストセットを作成することをお勧めします。

# 単純テスト
test_simple = "A, B, A, C. Aの2回目の次は？"

# 複雑テスト  
test_complex = "A, X, B, A, X, C, X. AとXが両方出た後、最初に出たのは？"

2. Chain-of-Thoughtプロンプティングで推論過程を可視化する

LLMに「段階的に考えさせる」ことで、どこで推論が破綻しているかを特定できます。

「以下の順序を追跡してください。各ステップを明示的に書き出してください：
1. 最初の状態
2. 各イベント後の状態
3. 最終的な答え」

このアプローチにより、単純なパターンマッチングと真の推論を区別できます。

3. 外部状態管理との組み合わせパターンを確立する

LLMの弱点を補うため、以下のようなハイブリッドアプローチを採用しましょう。

このパターンにより、LLMの強み（自然言語理解と生成）と弱み（状態追跡）を適切に分離できます。

@rizumitaさんの実験は、AI能力評価における重要な視点を提供しています。高い正答率は必ずしも深い理解を意味しません。真に信頼できるAIシステムを構築するには、「何ができて何ができないか」の境界を正確に把握することが不可欠です。

テスト設計の質が、AI能力評価の質を決定します。単純すぎるベンチマークは、実運用で遭遇する複雑な問題への対応力を測れません。開発者やエンジニアは、この知見を活かし、より厳密な評価基準とテスト設計を確立していく必要があります。

この情報は @rizumita さんの投稿を参考にしています。