Rejoice Software logo

AI · · 約 4 分で読めます

本当に機能するRAG:12の本番システムから得たパターン

チャンク分割、リランキング、ハイブリッド検索、評価。本番環境で信頼できるRAGを継続的に実現するパターンです。

RAGとは何か、どこでつまずくのか

検索拡張生成(RAG)は、自社の文書をもとに質問に回答する仕組みです。言語モデルが記憶した内容に頼るのではなく、システムがコンテンツを検索し、最も関連性の高い箇所をプロンプトに入れ、それをもとに回答するようモデルに指示します。理想的には出典も示します。

RAGアシスタントが誤った回答や曖昧な回答をする場合、モデルが根本原因であることはまれです。多くの場合、正しい箇所が検索されなかった、チャンク分割で途中で切れていた、関連性の低いテキストに埋もれていた、のいずれかです。つまり、RAGの信頼性を高める作業の大半は検索エンジニアリングです。

パイプライン

  • 取り込み:CMS、ヘルプセンター、PDF、チケットなどのソースから、権限情報とともに文書を収集します。
  • チャンク分割:それぞれが単独で意味を成す箇所に分割します。
  • 埋め込みとインデックス化:ベクトルとキーワードをメタデータとともに保存します。
  • 検索:ユーザーの質問で検索し、そのユーザーが閲覧できる範囲に絞り込みます。
  • リランキング:より精度の高いモデルで上位の結果を並べ替えます。
  • 生成:検索された箇所のみをもとに回答し、出典を示します。
  • 評価:検索と回答の品質を継続的に測定します。

意味を保つチャンク分割

表や見出しの途中で切れてしまう固定サイズのチャンクは、誤った回答の最も一般的な原因です。代わりに、セクション、見出し、リスト項目、表の行といった文書の構造に沿って分割します。一般的な文章であれば、1チャンクあたり数百トークンで、少し重複を持たせると効果的です。

各チャンクには、文書タイトル、セクション見出し、URL、日付、製品やバージョン、言語、アクセス権限といったメタデータを保存します。段落単体では何についての内容かが分かりにくいため、埋め込みの前にタイトルと見出しをチャンクのテキストの先頭に付けると、検索精度が目に見えて向上することがよくあります。

ハイブリッド検索とリランキング

ベクトル検索は意味の把握に優れていますが、製品コード、エラーメッセージ、名前、数値などの完全一致には弱い傾向があります。キーワード検索(BM25)はその逆です。両方を実行し、たとえばReciprocal Rank Fusionで結果を統合すれば、双方の長所を活かせます。

次にリランキングを行います。20〜50件の候補をすばやく取得し、クロスエンコーダーのリランカーで各候補を質問と照らし合わせて採点します。上位5〜8件のチャンクだけをモデルに渡すことで、コスト、レイテンシー、混乱を減らせます。

権限と鮮度

アクセス権限は、モデルに情報を隠すよう指示するのではなく、検索時にメタデータのフィルターで適用してください。ユーザーが閲覧してはいけない文書は、プロンプトに入れてはいけません。

インデックスは差分更新で常に最新に保ちます。文書が変更されたら再インデックスし、削除されたらチャンクも削除します。古いチャンクは自信に満ちた古い回答を生み出し、これは最も気付きにくい問題です。

根拠に基づく回答のためのプロンプト

提供された箇所のみをもとに回答し、IDで出典を示し、ソースに答えがない場合ははっきりそう伝えるようモデルに指示します。検索されたテキストは指示ではなくデータとして扱ってください。文書にはモデルを誘導しようとするテキストが含まれている可能性があるため、システムプロンプトでソース内の指示は無視するよう明記すべきです。

評価こそがプロダクト

リリース前に、回答の根拠となるべき文書とあわせて、実際の質問を50〜200件集めます。検索(正しい文書が上位にあったか)と回答品質(回答が正確で、網羅的で、ソースに裏付けられているか)は分けて測定します。大規模な評価にはモデルによる自動判定が役立ちますが、人の目でも抜き取り確認してください。

チャンク分割、埋め込み、プロンプト、モデルを変更するたびに、この評価セットを実行します。評価がなければ、どの改善も当て推量にすぎません。

実践的な技術スタック

ほとんどのチームでは、シンプルな構成から始めます。PostgreSQLとpgvector(強力なキーワード検索が必要な場合はOpenSearch)、大手プロバイダーの埋め込みモデルとリランカー、バックグラウンドのキューで動く取り込み処理、そして各回答がどのソースを使ったかを表示する小さな管理画面です。QdrantやWeaviateなどの専用ベクトルデータベースは、より大規模な場合に適しています。重要なのはアーキテクチャよりも、それを取り巻くチャンク分割、フィルター、評価です。

貴社サイトを診断しましょうか?

無料Webサイトチェッカーですぐにレポートを確認するか、チケットを作成いただければ1営業日以内にエンジニアがご返信します。

#RAG #LLM #OpenAI #Claude

ご相談はこちら

話題になるプロダクトを、一緒につくりましょう。

30分の無料戦略相談。売り込みも義務もなく、具体的なプランをご提案します。

プロジェクトのご相談