VAE

1. 概要

VAE（Variational Autoencoder）は、再パラメータ化トリック（reparameterization trick）を導入し、確率的勾配降下法による深層生成モデルの効率的な学習を可能にした。エンコーダ-デコーダ構造と変分推論を組み合わせ、連続的な潜在空間で生成と推論を行う。

2. 研究の背景

潜在変数を持つ生成モデルの学習において、事後分布p(z|x)の計算は一般に困難（intractable）である。従来の変分推論は、各データポイントに対して個別の最適化を必要とし、スケーラビリティに課題があった。深層学習と変分推論を効率的に組み合わせる手法が求められていた。

3. 提案手法

エンコーダq(z|x)は入力xを潜在変数zの分布（平均μと分散σ²）に写像する。再パラメータ化トリックでは、z = μ + σ·εと表現し（εは標準正規分布からのサンプル）、サンプリング操作を通じて勾配を逆伝播可能にした。デコーダp(x|z)は潜在変数zから元のデータを再構成する。損失関数は再構成誤差とKLダイバージェンスの和（ELBO）で構成される。

4. 実験結果

MNIST、Frey Faceデータセットで、効率的かつ高品質な生成モデルの学習が可能であることを示した。潜在空間での補間により、データの連続的な変化を生成できることも実証した。

5. 意義と影響

VAEは深層生成モデルの基礎を築いた。β-VAE、VQ-VAE、階層VAE等、多くの発展研究を生んだ。表現学習、異常検知、データ圧縮、半教師あり学習など広範な応用につながった。Stable DiffusionのオートエンコーダもVAEの概念に基づいている。

6. 関連論文