写真を見て「犬」と答えることは、人間にはあまりに自然です。しかし機械に渡されるのは、明るさや色を表す大量の数値。犬は横を向き、陰に入り、ソファの一部に隠れ、種類によって形も変わります。決まった輪郭との一致だけでは、同じ動物だと判断できません。
2012年、画像認識の競技でAlexNetが示した成果は、深層学習が大きく注目される転機になりました。その理由を「巨大なニューラルネットワークを使ったから」で終えると、成功を支えた二つの要素を見落とします。大規模なデータを整えたImageNetと、その学習を実行できる計算資源です。
写真の認識を難しくする、同じ物の見え方の違い
画像を一枚の数字の表として比べると、同じ物体でも少し位置が変わっただけで多くの数値が変化します。照明による色の変化や、背景への別の物の写り込みも避けられません。人間にとって本質的でない変化が、機械の入力では大きな違いになるのです。
反対に、異なる物体の一部が似ている場合もあります。車輪のような丸い部分があるからといって、自転車とは限りません。部分の特徴と、その組合せや配置を扱う必要があります。単純な模様の検出だけでも、画像全体の丸暗記だけでも十分ではありませんでした。
画像認識の研究では、長い間、人が設計した特徴を使う方法が工夫されてきました。深層学習が変えたのは、特徴の作り方のかなりの部分を、目的の課題に合わせてデータから学べるようにした点です。
ImageNetが作った、研究を比べるための共通基盤
ImageNetは、画像を物体などの概念に結び付けて整理した大規模なデータベースとして、2009年の論文で紹介されました。WordNetの概念階層を利用し、多様な画像を集めてラベルを付ける構想です。写真の枚数を増やすだけでなく、何の画像かを確かめ、研究に使える形へ整える必要がありました。
その後の認識競技では、一定のデータと評価方法の下で、異なる研究チームの方法を比較できるようになりました。それぞれが独自の写真で「よく当たった」と報告するだけでは、難しさが違うかもしれません。共通の課題があることで、どの工夫がどれほど改善につながったかを確認しやすくなります。
ただし、ImageNetのデータベース全体と、ある年の競技で使った部分は同一ではありません。代表的な分類課題では1000クラスが使われましたが、それをImageNet全体の概念数と取り違えると、データ基盤の規模や目的を誤解してしまいます。
畳み込みが利用する、画像の近所にある関係
AlexNetは、畳み込みニューラルネットワーク、CNNを用いました。畳み込みの基本は、小さな範囲を見る計算を画像の各位置に適用することです。同じ検出器をあちこちで使えるため、ある模様が画像の左にある場合と右にある場合に、毎回まったく別の規則を学ぶ必要を減らせます。
たとえば、縦の境界を捉える計算は、窓の左端にも右端にも役立つでしょう。浅い層で局所的な特徴を作り、その結果を後の層で組み合わせれば、より広い範囲の関係を扱えます。ただし、各層が必ず「線、目、顔」と人間に分かる順番で整理されるわけではありません。
畳み込みの発想にも前史があります。福島邦彦のネオコグニトロンや、ヤン・ルカンらによる学習可能なCNNと文字認識などがありました。2012年の成果は、画像に適した構造がその年に突然発明されたという話ではないのです。
三つは前後に実行する手順ではなく、成果を支え合う条件です。
GPUと学習の工夫が可能にした大きな実験
ニューラルネットワークの学習では、多数の似た数値計算を繰り返します。GPUは、こうした並列的な計算に適した装置として活用されました。AlexNetの論文でもGPUによる実装が重要な要素として説明されています。
ただし、計算機を速くしただけではありません。学習しやすい活性化関数や、過学習を抑えるドロップアウト、画像の切り出しや反転などを用いたデータ拡張も組み合わされています。ある一つの部品だけを取り出し、それがすべてを変えたと説明するのは難しい成果です。
データ拡張には、課題に合った仮定が含まれます。動物の写真を左右反転しても種類は通常変わりませんが、文字や道路標識では意味が変わる場合があるでしょう。データを増やす操作が正しいかどうかは、何を認識するのかに依存するのです。
top-5誤り率は、画像の意味をすべて理解した割合ではない
top-1で評価するのは、最上位の候補が正しいかどうかです。対してtop-5は、上位五つに正解があれば成功。画像分類の成果を比べるとき、この違いを省くことはできません。
説明用に、柴犬の画像へ「秋田犬、柴犬、甲斐犬、犬種D、犬種E」と順位付きで答えたとしましょう。正解ラベルが柴犬なら、top-1では誤り、top-5では成功です。これは評価を甘くごまかすという意味ではなく、似たクラスが多い課題で候補の質を測る一つの方法になります。
AlexNetの論文では、異なる年のデータや実験条件の数値が扱われています。論文中の値を一つ抜き出して、すべて2012年の競技結果だとするのは正確ではありません。また、分類の成功は、写真中の物体の数、関係、撮影の理由まで説明できたことを意味しません。
大きなデータにも残る、ラベルと世界のずれ
写真には一つの物だけが写っているとは限りません。人が犬を抱き、その後ろに自転車がある画像なら、何を正解ラベルにするかに選択が入ります。ラベルは世界そのものではなく、研究上の課題に合わせた整理でもあるのです。
さらに、学習データでよく見た背景や撮り方が、判断の近道になる場合があります。動物の形ではなく、雪や草地の模様を手がかりにするかもしれません。正解率が高い間は気付きにくくても、撮影環境が変わると弱点が現れます。
このため、共通のデータで勝つことと、どんな環境でも使えることを分ける必要があります。ベンチマークは研究を進める強い道具ですが、現実全体の代理にはなりません。何を含み、何を含まないデータなのかを確認することが、成果の価値を正しく理解する条件です。
分類器から、別の課題へ移せる表現へ
大規模な画像データで学んだネットワークは、最後の分類だけでなく、途中の表現も利用できます。新しい課題のデータが少ないとき、すでに学んだ視覚的な特徴を出発点にして調整する。これが転移学習の重要な使い方です。
たとえば、一般的な画像で形や模様を捉える計算を学んでいれば、別の画像分類を完全な初期状態から始めるより有利な場合があります。ただし、対象が大きく違うなら、そのままでは役立ちにくいでしょう。学習済みであることは、用途を問わない万能性の証明ではありません。
この発想は、後の言語モデルにもつながります。広いデータで共通の表現を学び、それをさまざまな課題へ適用する。個別の課題ごとにすべてを作る方法から、再利用できる学習済みモデルを土台にする方法への変化です。
2012年を転機にした、三つの条件の合流
AlexNetの成功を支えたのは、学習可能なモデル、大規模なデータ、実行できる計算資源の合流でした。どれか一つが欠けても、同じ成果を同じ時期に得られたとは限りません。さらに、共通の評価によって差が明確になり、他の研究者が追試や改良へ進みやすくなりました。
新しい理論だけが、AIの進歩を生むわけではありません。データの収集と検証、計算を速くする実装、比較できる課題の設計も、研究の方向を変えました。AlexNetという名前の後ろには、こうした基盤があるのです。
深層学習が画像で示した力は、その後、音声や言語、ゲームへも広がりました。ただし、画像の正解ラベルとは違い、行動の良し悪しはずっと後で分かる場合があります。その問題へ進むと、強化学習とAlphaGoの歴史が重要になります。