AlexNet

1. 概要

AlexNetは、8層の畳み込みニューラルネットワーク（CNN）でImageNetの画像認識コンペティションを圧勝し、深層学習ブームの火付け役となった歴史的論文である。ReLU活性化関数、Dropout、GPUによる並列学習など、多くの技術的革新を導入した。

2. 研究の背景

2012年当時、画像認識は手作業で設計された特徴量（SIFT、HOGなど）とSVMなどの浅い分類器の組み合わせが主流だった。深層学習は理論的に研究されていたが、大規模な実用的成功例は限られていた。ImageNetという120万枚の画像データセットの登場が、深層学習の可能性を試す舞台を提供した。

3. 提案手法

AlexNetは5層の畳み込み層と3層の全結合層で構成される。ReLU（Rectified Linear Unit）活性化関数を採用し、学習の高速化と勾配消失問題の緩和を実現した。Dropoutにより過学習を抑制し、Data Augmentationでデータを拡張した。2台のGTX 580 GPUを使用した並列学習により、当時としては大規模なモデルの学習を可能にした。

4. 実験結果

ILSVRC-2012コンペティションで、2位に10.8%もの大差をつけて優勝した。Top-5エラー率15.3%を達成し、従来の手法（26.2%）を圧倒した。この圧倒的な勝利が、深層学習の有効性を世界に示した。

5. 意義と影響

AlexNetは深層学習ブームの火付け役となった歴史的論文である。以降、コンピュータビジョンの研究はCNNを中心に展開されることとなった。VGGNet、GoogLeNet、ResNetなど、より深いネットワークの研究が活発化した。また、GPUを用いた深層学習の有効性を示し、NVIDIA株価の上昇にも貢献した。

6. 関連論文