LLM推論が遅い本当の理由：「ハードを積めば速くなる」が半分間違いな理由とメモリ律速の壁

GitHub Copilotがトークン課金制に移行して炎上し、開発者コミュニティに衝撃が走りました。これまで「定額で使い放題」だったAIコーディング支援が従量課金になることで、LLMの推論コストが初めて多くのエンジニアにとって**実感を伴う問題**になったのです。

一方で、「Ollama Cloudなら無料でハードウェアを積んでくれる」といった話も広がり、「結局ハードウェアさえ潤沢にあれば解決するのでは？」という素朴な疑問も生まれています。

しかし、この「ハードを積めば速くなる」という認識は**半分正しく、半分間違い**です。その境界線を理解することが、LLM運用の真のコスト最適化への第一歩となります。

従来の機械学習は「計算律速」だった

深層学習の**学習フェーズ**では、大量の行列積を繰り返し計算するため、GPUの計算性能（FLOPS）がボトルネックになります。これが**計算律速（compute-bound）**の状態です。この場合、より高性能なGPUを追加すれば、ほぼ線形にスループットが向上します。

LLM推論は「メモリ律速」に支配される

ところがLLMの**推論フェーズ**は状況が異なります。特に以下の特性があります：

この結果、GPUの計算能力よりも**メモリからデータを読み出す速度（帯域幅）**がボトルネックになります。これが**メモリ律速（memory-bound）**です。

具体的な数値で見る現実

A100 GPUを例にとると：

1トークン生成に140GBを読む必要があるため、理論上は**約93ms/トークン**（1.5TB/s ÷ 140GB）が下限です。どれだけ計算が速くても、メモリから読み出す時間が支配的になるのです。

メモリ律速という視点で見ると、主要な最適化手法の**本質的な狙い**が明確になります。

量子化：メモリ転送量を物理的に削減

KVキャッシュ管理：冗長な計算を回避

バッチング：メモリアクセスの償却

「ハードを積む」戦略の有効範囲

**有効なケース**：

**限界があるケース**：

ChatGPT/Claude等のクラウドサービスとの比較

OpenAIやAnthropicは以下の戦略でメモリ律速に対処しています：

セルフホスティング（Ollama等）と比較すると、**初期コストは低いが最適化の余地は限定的**です。一方、クラウドサービスは従量課金のため、**使用パターンによってはコストが予測不能**になるリスクがあります。

注意すべき落とし穴

1. **GPU数を増やしてもスケールしない**：単一リクエストの処理は基本的に1GPUで完結するため、GPU追加はスループット向上には寄与してもレイテンシ改善にはならない

2. **KVキャッシュのメモリ爆発**：長文生成ではモデル本体より大きなメモリを消費する可能性がある

3. **量子化の品質劣化**：数学的推論や構造化出力では、量子化による精度低下が顕著に現れることがある

1. 自分のユースケースのボトルネックを測定する

import time
import psutil

start = time.time()
# LLM推論を実行
response = model.generate(prompt)
elapsed = time.time() - start

print(f"生成時間: {elapsed:.2f}秒")
print(f"トークン数: {len(response)}")
print(f"トークン/秒: {len(response)/elapsed:.2f}")
print(f"GPU使用率: {get_gpu_utilization()}%")

GPU使用率が低い（<50%）場合、メモリ律速の可能性が高いです。

2. 量子化の効果を実測する

同じプロンプトでFP16とINT8（またはINT4）の両方を試し、**速度と品質のトレードオフ**を自分のタスクで確認してください。多くの場合、INT8でも品質劣化は最小限です。

# Ollamaでの例
ollama run llama2:70b  # FP16
ollama run llama2:70b-q4_0  # INT4量子化

3. バッチング可能な処理を見極める

対話型UIは難しいですが、以下は効果的です：

vLLMやText Generation Inferenceなどのバッチング対応サーバーの導入を検討しましょう。

「LLMは遅い」「コストが高い」という課題に対して、**ハードウェアを増やせば解決する**という単純な答えはありません。メモリ律速という根本的な制約を理解することで、本質的な最適化戦略が見えてきます。

量子化・KVキャッシュ・バッチングといった技術は、すべて「限られたメモリ帯域をいかに有効活用するか」という共通の目的で繋がっています。この視点を持つことで、新しい最適化手法が登場したときも、その本質を見抜き、自分のユースケースに適用できるかを判断できるようになります。

この情報は @中村 啓 さんの投稿を参考にしています。