LLMの「思考の個性」が明らかに：水平思考クイズで見えた各モデルの推論戦略の違い

生成AIの性能評価といえば、MMLU、HumanEval、GSM8Kといった定番ベンチマークが主流です。しかし、これらは主に知識の正確性やコーディング能力を測るものであり、**推論プロセスそのもの**を観察するには限界があります。

そこに現れたのが、水平思考クイズ（ウミガメのスープ）を使った独自のベンチマーク手法です。SoupyQuizの運営者gema氏が実施した大規模実験（364プレイ、12,080ターン）は、LLMの「考え方の個性」を可視化する画期的な取り組みとなりました。

水平思考クイズとは、一見不可解な状況を提示され、「はい/いいえ」で答えられる質問を重ねて真相に迫るゲームです。この形式は、LLMに対して**質問設計能力**、**仮説構築力**、**情報統合スキル**を同時に要求します。単なる知識のリコールでは解けない、まさに「思考の質」が問われるベンチマークなのです。

総合成績

最高成績を記録したのはClaude Opus 5で、正答率96%という圧倒的な数字を叩き出しました。しかし、gema氏が強調するのは順位そのものではなく、**各モデルが採用した解法戦略の違い**です。

モデル別の推論戦略

**Claude Opus 5: 仮説駆動型アプローチ**

Opus 5は「物語ごとまとめて検証する」戦略を採用しています。これは、断片的な質問を繰り返すのではなく、状況全体を説明できる包括的な仮説（ストーリー）を構築し、それを検証していく方法です。

このアプローチの強みは**情報の文脈的統合**にあります。個別の事実を孤立させず、一貫した因果関係の中で理解するため、矛盾の検出や真相への収束が早くなります。人間の優れた探偵や科学者が使う「アブダクション（仮説形成的推論）」に近い思考パターンです。

**GPT-5.6 sol: 二分探索型アプローチ**

solバリアントは「教科書どおりの二分探索」を実行します。これは情報空間を系統的に半分ずつ削っていく、アルゴリズム的に最適化された戦略です。

この方法は**効率性と網羅性**に優れています。感情や直感に左右されず、論理的に可能性を絞り込めるため、確実性が高い一方で、人間的な「ひらめき」や文脈的洞察には欠ける側面があります。

**GPT-5.6 terra: 仮説固着型**

terraバリアントは驚くべき特性を示しました。同じ仮説を25回も言い換えて出し続けるという**固着パターン**です。

これは認知心理学で言う「確証バイアス」や「機能的固着」に似た現象です。一度有望に見えた仮説に過度に執着し、反証情報を適切に処理できていない可能性があります。人間でも陥りやすい認知の罠が、LLMにも再現されているのは興味深い発見です。

**GPT-5.6 luna: （詳細不明）**

投稿では言及のみでしたが、lunaバリアントも独自の戦略を持っていると推測されます。

従来のベンチマークとの決定的な違い

従来のベンチマーク（MMLU、BBH等）は「答えの正しさ」を測りますが、**プロセスの質**は評価しません。一方、水平思考クイズは質問のたびにモデルの推論過程が記録されるため、「どう考えているか」が可視化されます。

これは、学校のテストで言えば「選択式問題」と「記述式問題+口頭試問」の違いに相当します。後者の方が圧倒的に多くの情報を引き出せるのは明白です。

各戦略のメリットと限界

**仮説駆動型（Opus 5型）の強み**

**仮説駆動型の注意点**

**二分探索型（sol型）の強み**

**二分探索型の注意点**

実務への示唆：適材適所のモデル選択

この実験結果は、**タスクの性質によって最適なLLMが異なる**ことを示唆しています。

**仮説駆動型が向いている場面**

**二分探索型が向いている場面**

**固着型を避けるべき場面**

メタ認知能力の欠如という共通課題

注目すべきは、terraが自身の固着に気づいていない点です。これは現在のLLMに共通する**メタ認知能力の不足**を示しています。人間の熟練者は「今の自分の思考が偏っていないか」を自己監視できますが、現行LLMにはこの能力が限定的です。

次世代モデルには、自身の推論戦略を動的に評価・調整する能力が求められるでしょう。

1. 自分のタスクに最適なモデルを再評価する

現在使っているLLMを見直してください。もし複雑な文脈理解が必要なタスクにGPTのsolタイプを使っているなら、Claudeに切り替えることで品質が向上する可能性があります。逆に、系統的な分類作業にはGPTのsolタイプが効率的です。

**具体的手順**：

2. 「固着検出プロンプト」を組み込む

LLMの固着を防ぐため、定期的に視点転換を促すプロンプトを挿入しましょう。

現在の仮説：[LLMの出力]

次に進む前に：
1. この仮説と矛盾する証拠はないか？
2. まったく別の角度から見たらどうなるか？
3. 最初の仮定が間違っていたとしたら何が変わるか？

これにより、terraタイプの固着パターンを軽減できます。

3. 水平思考クイズでLLMを「診断」する

SoupyQuizのようなプラットフォームで、自分が使用するLLMの思考パターンを観察してみましょう。5〜10問解かせるだけで、そのモデルの推論スタイルが見えてきます。

**診断のポイント**：

この「思考診断」により、実務タスクでの挙動を予測できるようになります。

今回の実験は、LLM評価の新しい地平を開きました。単なるベンチマークスコアではなく、**どう考えるか**という質的な違いが、実用上の適性を大きく左右します。

Claude Opus 5の高正答率は注目に値しますが、それ以上に重要なのは「各モデルに個性がある」という事実です。この個性を理解し、タスクに応じて使い分けることが、AI活用の次のステージになるでしょう。

あなたのプロジェクトに最適なのは、最高スコアのモデルではなく、タスクの性質と相性の良い「思考スタイル」を持つモデルかもしれません。

この情報は @gema さんの投稿を参考にしています。