ResNet

1. 概要

ResNetは、残差接続（skip connection）を導入することで、152層という非常に深いネットワークの学習を可能にした。ILSVRC-2015で優勝し、Top-5エラー率3.57%を達成して人間の認識精度を上回った。残差接続は以降のすべての深層学習アーキテクチャに影響を与えた。

2. 研究の背景

深層ネットワークは理論上より高い表現力を持つが、実際には層を深くすると性能が劣化する「劣化問題」が観察されていた。これは過学習ではなく、最適化の困難さに起因する問題だった。より深いネットワークは浅いネットワークより訓練誤差が高くなるという矛盾した現象が起きていた。

3. 提案手法

残差接続（skip connection / shortcut connection）を導入し、層の出力に入力を加算する構造を提案した。H(x) = F(x) + xという形式で、ネットワークは残差F(x)を学習する。恒等写像を学習しやすくなり、勾配が直接浅い層に流れるため、非常に深い層でも効果的に学習できるようになった。

4. 実験結果

152層のResNetを学習し、ILSVRC-2015で優勝した。Top-5エラー率3.57%を達成し、人間の認識精度（約5%）を上回った。また、COCO物体検出、セグメンテーションでも最先端の性能を達成した。1000層のネットワークでも学習が可能であることを示した。

5. 意義と影響

残差接続は以降のすべての深層学習アーキテクチャに影響を与えた。Transformer、U-Net、DenseNet、EfficientNetなど、現代のほぼすべてのモデルがこの概念を取り入れている。深層学習分野で最も引用される論文の一つとなった（引用数20万以上）。

6. 関連論文