LLMが架空のIDを生成する問題とその対策 - おでかけプラン生成アプリ開発で学んだこと

はじめに

LLMアプリケーションを初めて開発する際、多くの開発者が「外部APIから取得したデータをそのままプロンプトに渡せば問題ない」と考えがちです。しかし、実際の開発現場では想定外の課題に直面することがあります。

問題の発見

あるエンジニアが、場所・予算・カテゴリ・時間を入力するとAIがカフェ→美術館→ディナーのようなプランを自動生成するおでかけプランWebアプリを開発しました。

開発の早期段階で、深刻な問題が発覚します。**LLMが存在しないスポットのIDを平然と返してくる**のです。

具体的な症状

なぜこの問題が起きるのか

これはLLMの「ハルシネーション（幻覚）」と呼ばれる現象の一種です。LLMは文脈に沿って「もっともらしい」データを生成しようとするため、実在するIDのパターンを学習し、似たような形式の架空IDを作り出してしまうのです。

対策のポイント

この問題に対処するには、以下のようなアプローチが考えられます：

まとめ

外部APIとLLMを連携させる際は、単純にデータを渡すだけでなく、LLMの出力を適切に制約・検証する仕組みが不可欠です。特にIDや固有名詞など、厳密性が求められるデータを扱う場合は、アーキテクチャ設計の段階から対策を組み込むことが重要です。

この情報は @らむ さんの投稿を参考にしています。