RAG

1. 概要

RAG（Retrieval-Augmented Generation）は、クエリに基づいて外部知識ベースから関連文書を検索し、検索結果を文脈として言語モデルに入力する手法である。LLMの知識更新問題に対する実用的な解決策を提示し、企業でのLLM導入において標準的なアプローチとなった。

2. 研究の背景

言語モデルは学習時のデータに含まれる知識のみを持ち、最新情報や稀少な事実を正確に生成することが困難だった。パラメータに知識を埋め込む方式は、知識の更新が困難であり、モデル全体の再学習が必要になる問題があった。また、ハルシネーション（事実と異なる内容の生成）も課題だった。

3. 提案手法

RAGは検索器（Retriever）と生成器（Generator）で構成される。検索器はDPR（Dense Passage Retrieval）を使用し、クエリと文書を同じベクトル空間に埋め込み、類似度に基づいて関連文書を検索する。検索された文書は生成器（BART）のコンテキストとして入力され、回答が生成される。RAG-SequenceとRAG-Tokenの2つの変種が提案された。

4. 実験結果

Open-domain QA（Natural Questions、TriviaQA、WebQuestions）で、パラメータ数が少ないモデルで大規模モデルを上回る性能を達成した。特にNatural Questionsでは、T5-11Bを超える性能を達成した。知識集約型タスクにおいて、検索を活用することの有効性を示した。

5. 意義と影響

RAGはLLMの知識更新問題に対する実用的な解決策を提示した。企業でのLLM導入において標準的なアプローチとなり、社内文書検索、カスタマーサポート、法律・医療分野での情報検索など広範な応用を可能にした。Bing Chat、Perplexity、Google SGEなどの製品に応用されている。

6. 関連論文