LLaMA

1. 概要

LLaMAは、7Bから65Bパラメータの効率的な言語モデルファミリーである。公開データのみで学習し、Chinchillaスケーリング則に基づいてより多くのデータで学習することで、小さいモデルでも高い性能を達成した。オープンソースLLM開発を活性化させ、AI研究の民主化に大きく貢献した。

2. 研究の背景

GPT-3やPaLMなどの大規模言語モデルは、APIアクセスのみが提供され、研究コミュニティによる詳細な分析が困難だった。また、巨大なモデルは推論コストが高く、多くの研究者や企業にとって実用性に課題があった。効率的で公開可能なモデルの需要が高まっていた。

3. 提案手法

LLaMAは7B、13B、33B、65Bの4つのサイズで提供された。1.4兆トークンの公開データ（CommonCrawl、Wikipedia、GitHub、arXiv等）のみで学習した。Chinchillaスケーリング則に基づき、従来より多くのトークンで学習することで、推論時の効率を重視した。RMSNorm、SwiGLU活性化、Rotary Position Embeddingなどの技術を採用した。

4. 実験結果

LLaMA-13BはGPT-3（175B）を多くのベンチマークで上回った。LLaMA-65BはPaLM-540Bと同等の性能を達成した。単一のA100 GPUで推論可能な効率的なモデルを実現した。MMLU、HellaSwag、WinoGrande、ARC-Challenge等の幅広いベンチマークで優れた性能を示した。

5. 意義と影響

LLaMAはオープンソースLLM開発を活性化させた画期的論文である。Alpaca、Vicuna、Koala、Llama 2、Llama 3など多くの派生モデルが生まれた。学術研究者や小規模企業もLLM研究・開発に参加できるようになり、AI研究の民主化に大きく貢献した。モデル重みの流出という事件も話題となった。

6. 関連論文