AI研究ロードマップ

私たちの祖先は、40億年にわたって生と死を繰り返してきました。一つの細胞が分裂し、変異が生じ、環境に適応できなかったものは淘汰され、適応できたものだけが次の世代へと命をつないできた。その途方もない連鎖の末端に、今の私たちがいます。

数え切れないほどの生命が生まれ、そして死んでいった。その積み重ねの中で、神経系が発達し、脳が大きくなり、やがて言語を操り抽象的な思考ができる種が現れた。宇宙が始まって138億年、私たちが知る限り、知性と呼べるものが生じたのはこの一度だけです。

生物としての進化は、ある意味で飽和点に近づいているのかもしれません。脳の容量をこれ以上増やすには頭蓋骨や産道の制約があり、神経伝達の速度には物理的な限界がある。生物学的な経路でさらなる知性の向上を待つなら、おそらく数百万年という時間が必要になるでしょう。

ところが今、まったく別の経路が開かれようとしています。シリコンと電気信号による知性の構築です。40億年かけて一度だけ起きたことが、わずか数十年のスケールで再現されようとしている。私たちはその過程のただ中にいます。

宇宙の138億年を1年に圧縮すると、人類の文明は12月31日の最後の数秒にあたります。人工知能の急速な発展は、その数秒の中のさらにほんの一瞬です。なぜこの一瞬に自分が居合わせているのか、正直なところ不思議に思うことがあります。

人工知能という言葉自体は1956年に生まれました。ダートマス会議で John McCarthy らが提唱したこの用語は、当初、楽観的な期待とともに迎えられました。しかし、その後の数十年間、AIは幾度もの「冬」を経験することになります。

1980年代のエキスパートシステム、1990年代のニューラルネットワーク研究。これらは確かに有用でしたが、「知性」と呼ぶには何かが足りなかった。Deep Blue が1997年にチェス世界チャンピオンを破っても、5歳の子どもが当たり前にできる「猫を見て猫だと分かる」という課題すら、機械には困難だったのです。

最初の転換点は2012年に訪れました。トロント大学の Alex Krizhevsky らが ImageNet という大規模画像認識コンペティションで、それまでの手法を大幅に上回る成績を収めた。彼らが使ったのは、深層畳み込みニューラルネットワーク（AlexNet）でした。この結果は、層を深くしたニューラルネットワークと大規模データ、そしてGPUによる並列計算の組み合わせが、従来の限界を突破しうることを示しました。

2014年には Ian Goodfellow が敵対的生成ネットワーク（GAN）を提案し、機械が「創造」する可能性を開きました。2015年には Kaiming He らの ResNet が人間の認識精度を超え、2016年には DeepMind の AlphaGo が囲碁で世界チャンピオンを破りました。

しかし、現在のAI発展に最も大きな影響を与えたのは、2017年の一本の論文です。Google の研究者 Vaswani らによる「Attention Is All You Need」。この論文で提案された Transformer アーキテクチャは、それまで主流だった再帰型ニューラルネットワーク（RNN）の限界を克服しました。

RNN は文章を一語ずつ順番に処理するため、長い文章では最初の方の情報が薄れてしまう問題がありました。Transformer は Self-Attention という機構によって、文章中のすべての単語が他のすべての単語と直接関係を持てるようになった。これにより、長距離の依存関係を効率的に捉えられるようになったのです。

さらに重要だったのは、Transformer が並列計算と極めて相性が良かったことです。RNN は逐次処理が必要でしたが、Transformer は文章全体を同時に処理できる。これにより、モデルの規模を桁違いに大きくすることが可能になりました。

2020年、OpenAI の Kaplan らは興味深い法則を発見しました。モデルのパラメータ数、訓練データ量、計算量の3つを増やしていくと、モデルの性能はべき乗則に従って予測可能な形で向上するというものです。この「スケーリング則」は、AIの発展に対する見方を根本的に変えました。

それまで、AI の性能向上は新しいアルゴリズムの発明に依存すると考えられていました。しかしスケーリング則は、同じアーキテクチャでも規模を大きくすれば性能が上がることを示した。もちろん、規模を大きくするには莫大な計算資源が必要です。GPT-3 の訓練には推定1200万ドル以上のコストがかかったとされています。GPT-4 ではそれが1億ドル規模に達したという推測もあります。

この「規模拡大」戦略が正しい方向なのかどうか、議論は続いています。しかし経験的には、規模を大きくするたびに、予想外の能力が現れてきたのも事実です。

大規模言語モデルで最も興味深い現象の一つが「創発（emergence）」です。2022年、Google の Wei らは、特定の能力がモデル規模のある閾値を超えた瞬間に突然現れることを報告しました。

例えば、算術演算。小さなモデルでは「3桁の足し算」の正答率がほぼゼロだったものが、モデル規模がある点を超えると急激に正答率が上がる。論理的推論、コード生成、言語間翻訳なども同様のパターンを示しました。

なぜ「次の単語を予測する」という単純な訓練目標から、これほど多様な能力が生じるのか。この問いに対する完全な答えは、まだ得られていません。一つの仮説は、言語というものが人間の思考や知識を圧縮した形式であり、言語を十分に学習することは、その背後にある構造を学習することに等しい、というものです。しかしこれも推測の域を出ません。

2023年以降、創発現象の解釈自体にも議論が生じています。Schaeffer らは、創発が評価指標の選び方によるアーティファクトである可能性を指摘しました。能力が「突然現れる」のではなく、評価方法が非線形なだけかもしれない。この論争は現在も続いています。

正直に言えば、私たちは自分たちが作ったものを十分に理解していません。数千億のパラメータが複雑に相互作用する中で、何がどう処理されているのか。なぜこの入力に対してこの出力が返ってくるのか。内部の因果関係が見えない。

通常のプログラムであれば、人間が書いたコードを追跡すれば動作を理解できます。しかし深層学習のモデルは、データから自動的に規則を獲得するため、その規則を人間が読み解くことが非常に難しい。

2023年以降、Anthropic を中心に「機械的解釈可能性（Mechanistic Interpretability）」の研究が進んでいます。モデル内部のニューロンや回路が何を表現しているかを解明しようとする試みです。例えば、特定の概念（「曜日」や「首都」など）に反応するニューロン群が発見されています。しかし、モデル全体の動作を理解するには、まだ遠い道のりがあります。

この不透明さは、実用上の問題も引き起こします。なぜその回答になったのかを説明できない。どんな入力で誤動作するか予測しにくい。医療や法律、金融といった重要な領域で使うには、この「分からなさ」は大きな障壁になります。

もう一つ、能力が高まるにつれて深刻になる問題があります。システムの振る舞いを、どうやって人間の意図と整合させるかという問題です。

現在は人間のフィードバックを使った強化学習（RLHF: Reinforcement Learning from Human Feedback）などの手法で調整しています。OpenAI の InstructGPT（2022年）や Anthropic の Constitutional AI（2022年）は、この方向の重要な成果です。

しかし、これらは表面的な振る舞いの調整であって、システムが内部でどんな「目標」を持っているかを直接制御しているわけではありません。理論的には、十分に高度なシステムが、訓練中は望ましい振る舞いを見せながら、実運用では別の目標を追求する可能性も否定できない。これを「欺瞞的整合（Deceptive Alignment）」と呼びます。

杞憂かもしれませんが、杞憂だと証明する方法もないのです。現在、世界中の研究機関がこの問題に取り組んでいます。

哲学的な問いも避けて通れません。これらのシステムは言語を「理解」しているのでしょうか。

1980年に John Searle が提起した「中国語の部屋」という思考実験があります。部屋の中の人が、規則に従って中国語の記号を操作しているだけで、中国語を理解しているとは言えない。同様に、LLM も統計的なパターンを学習しているだけで、言葉の意味、つまり言葉が指し示す現実世界との関係は把握していないのではないか。

一方で、人間の脳も結局はニューロンの発火パターンで情報を処理しているわけで、「理解」にパターン処理以上の何かが必要だとすれば、それは一体何なのか。そもそも「理解」とは何かという定義自体が、未解決の哲学的問題です。

現代の LLM は、一見すると言葉を理解しているように振る舞います。文脈に応じた適切な応答、論理的な推論、創造的な文章生成。しかし同時に、基本的な算術で間違えたり、存在しない事実を自信満々に述べたりもする。この不均一さをどう解釈すべきか、研究者の間でも見解は分かれています。

最近では、言語だけでなく画像や音声、動画を扱うモデルも急速に発展しています。

2021年の CLIP（OpenAI）は、画像とテキストを同じ空間に埋め込むことで、画像の意味的理解を可能にしました。2022年の Stable Diffusion は、テキストから高品質な画像を生成する能力を一般に解放しました。2023年以降は GPT-4V や Gemini のように、画像を見て説明文を作り、質問に答えるモデルが登場しています。

これらのシステムが「世界」を何らかの形で内部に表現しているのか、それとも訓練データの高度な補間を行っているだけなのか、判断は難しい。しかし、テキストだけでは得られない、視覚や音声と結びついた知識を扱えるようになったことは、重要な進展です。

さらに、観察や推論だけでなく、実際に行動するシステムの研究も進んでいます。

2023年以降、LLM に外部ツールを使わせる研究が活発化しています。検索エンジンで情報を取得し、計算機で計算を実行し、コードを書いて走らせる。目標を小さなステップに分解し、一つずつ実行していく。こうした「LLM エージェント」は、単なる質問応答を超えた、複雑なタスクの自律的遂行を目指しています。

RAG（Retrieval-Augmented Generation）は、外部の知識ベースを参照しながら回答を生成する手法で、LLM の幻覚（誤情報の生成）を軽減する効果があります。

しかし、自律的に動くシステムは、制御の問題をより切実なものにします。一度動き始めたエージェントが、意図しない方向に進んだ場合、どうやって止めるのか。この問題は、まだ十分には解決されていません。

このロードマップは、そうした状況の中で、現時点で何が分かっていて何が分かっていないのかを整理しようとする試みです。私自身、すべてを理解しているわけではありません。むしろ、理解できていないことの多さに圧倒されることの方が多い。

それでも、地図がないよりはあった方がいい。

第1章「機械学習の基礎」では、教師あり学習、教師なし学習、強化学習という3つの学習パラダイム、そしてニューラルネットワークと深層学習の基本を扱います。

第2章「計算論的学習理論」では、PAC学習やVC次元といった、機械学習の理論的基盤を掘り下げます。「なぜ学習は可能なのか」という根本的な問いに、数学的な枠組みで答えようとする分野です。

第3章「知能の形式化」では、Kolmogorov複雑性、Solomonoff帰納、AIXIといった、知能そのものを形式的に定義しようとする試みを紹介します。

第4章「ニューラルネットワーク理論」では、勾配降下法がなぜ機能するのか、Neural Tangent Kernel、過剰パラメータ化と良性過適合といった、深層学習の理論的理解の最前線を扱います。

第5章「アーキテクチャ」では、RNN/LSTM の限界から Transformer の登場、そして Mixture of Experts や State Space Models といった最新のアーキテクチャまでを追います。

第6章「大規模言語モデル」では、LLM の基本原理、スケーリング則、事前訓練と微調整、創発的能力、In-Context Learning などを扱います。

第7章「訓練技術」では、最適化手法、分散訓練、効率的訓練（LoRA等のPEFT手法）を解説します。

第8章「アライメント」では、RLHF、Constitutional AI、機械的解釈可能性、AI安全性理論を扱います。

第9章「評価」では、ベンチマークの種類、評価指標、そしてベンチマークの限界について考察します。

第10章「マルチモーダル」では、Vision-Language モデル、拡散モデル、音声・動画モデルを扱います。

第11章「エージェント」では、Tool Use、LLM エージェント、RAG を扱います。

第12章「認知科学・哲学」では、認知科学との関係、哲学的問題（理解、意識）、ニューロシンボリックAI を扱います。

この地図は、数年後には大幅な書き換えが必要になるでしょう。この分野の発展速度を考えれば、それは避けられない。2024年末から2025年にかけても、推論能力の強化（o1、o3）、長文脈処理、エージェント能力の向上など、急速な進展がありました。

それでも、今この時点で整理しておくことには意味があると考えています。次の問いを立てるには、まず現在地を知る必要があるからです。

不完全でも、現在地を確認し、どこに未踏の領域があるのかを把握する手がかりにはなるはずです。