Backpropagation

1. 概要

誤差逆伝播法（Backpropagation）は、出力層の誤差を連鎖律を用いて各層に逆伝播させ、勾配を計算する学習アルゴリズムである。多層ニューラルネットワークの効率的な学習を可能にし、現代のすべての深層学習の基盤となっている。

2. 研究の背景

単層パーセプトロンには限界があることは、Minsky & Papert (1969)により示されていた。XOR問題など、線形分離不可能な問題は単層では解けない。しかし、多層パーセプトロンの隠れ層の重みをどのように更新すべきかは長年の課題だった。

3. 提案手法

誤差逆伝播法は、出力層の誤差を微分の連鎖律（chain rule）を用いて各層に逆伝播させる。各層の重みに対する誤差の勾配∂E/∂wを効率的に計算し、確率的勾配降下法で重みを更新する。計算量はネットワークのサイズに対して線形であり、効率的である。

4. 実験結果

XOR問題など、単層では解けない問題を多層ネットワークで学習できることを示した。内部表現（隠れ層の活性化パターン）が自動的に学習されることを実証した。ファミリーツリー課題で、概念の階層的な表現を獲得できることを示した。

5. 意義と影響

誤差逆伝播法は、現代のすべての深層学習の基盤となる学習アルゴリズムである。40年近く経った現在も、本質的に同じアルゴリズムが使用されている。PyTorch、TensorFlowなどの深層学習フレームワークは、自動微分により誤差逆伝播を実装している。

6. 関連論文