同じ人が同じ言葉を話しても、毎回まったく同じ音にはなりません。声の大きさ、話す速さ、周囲の雑音が違うからです。「この波形ならこの単語」という厳密な規則をすべて書こうとすると、例外が尽きないでしょう。
こうした曖昧さに対して、AI研究では確率と統計が大きな役割を果たしました。唯一の規則に当てはめるだけでなく、観測されたデータの下で、どの解釈がどれほど有望かを計算する方法です。1980〜2000年代に発展した統計的な機械学習は、深層学習が注目を集める以前から、認識や言語の実用性を支えていました。
「当てはまるか」から「どれがもっともらしいか」へ
説明用に、窓のない部屋から外の天気を推測する場面を考えます。入ってきた人の傘が濡れていれば、雨の可能性は上がるでしょう。しかし、傘を洗ったばかりかもしれませんし、すでに雨がやんでいるかもしれない。一つの手がかりから必ず一つの結論が決まるとは限りません。
確率的な推論では、もともとの起こりやすさと、その観測が各候補の下でどれほど起こりやすいかを組み合わせます。雨の多い季節と、ほとんど降らない地域で、判断の出発点は同じではありません。その違いがあるため、同じ濡れた傘を見ても、雨の可能性の見積もりは変わり得るのです。
これは、曖昧だから適当に答えるという意味ではありません。不確実さを明示して、情報が増えたときに判断を更新するための枠組みです。ただし、もとの確率やモデルの仮定が現実とずれていれば、計算が正しくても推定は外れます。
確率を逆向きに使うときの落とし穴
「雨なら傘が濡れやすい」と「傘が濡れていれば雨である」は、同じ主張ではありません。前者は原因を仮定したときの観測、後者は観測から原因を推測する向きです。AIが画像や音声を認識するときにも、見えている結果から、見えていない状態を推定する問題が現れます。
仮の数値で確かめてみましょう。100回のうち雨の日が20回あり、そのうち18回で傘が濡れていたとします。晴れた80回でも8回は別の理由で濡れていたなら、濡れた傘は合計26回。そのうち雨だったのは18回なので、雨だった割合は18÷26、約69％です。雨の日に濡れる割合90％とは一致しません。
この例の数値は説明用ですが、確率の向きの区別は一般的なものです。条件を取り違えれば、精密な数字でも問いへの答えにはなりません。90％という値だけを見て安心するのではなく、「何が分かっているときの、何の確率か」が決定的なのです。
隠れマルコフモデルと、聞こえた音の背後にある状態
音声認識で重要になった方法の一つに、隠れマルコフモデル、HMMがあります。直接見える音の特徴と、その背後にある状態は、同じものではありません。状態が変化するにつれて音の観測が生じると考え、両者の確率的な関係を扱うモデルです。
手書きの文字を読むとき、かすれた一画だけでは文字を決められなくても、前後の画から候補を絞れるでしょう。音声でも、短い区間だけを見るより、前後の状態のつながりを使った方が判断しやすい場合があります。HMMは、観測の曖昧さと時間的なつながりを一緒に扱う仕組みでした。
ここで「マルコフ」という名前に対応するのは、次の状態を考える際に、過去全体ではなく現在の状態で必要な情報を代表させる仮定です。現実が必ずそうなっているという宣言ではありません。複雑さを抑えて計算できるようにするモデル化なのです。
確率的推論の考え方を簡略化した図です。候補や仮定が適切かどうかは別途必要になります。
一瞬の判定を並べるより、全体のつながりを選ぶ
HMMでは、一つ一つの時点で最もありそうな状態を選べば、全体でも最もありそうな列になるとは限りません。ある状態から次の状態へ移る確率も関わるからです。音だけなら候補Aが少し有利でも、その前後とのつながりを含めると候補Bの方が自然な場合があります。
説明用に、毎日の行動から天気を推測するとしましょう。一日の行動だけでは雨らしく見えても、ほかの日の観測や天気の移り変わりを合わせれば、違う推定が有望になるかもしれません。観測を一つずつ独立に分類する方法とは、使う情報の組み合わせが違うのです。
全候補を最後まで総当たりする代わりに、途中までの良い経路を整理して計算を再利用する方法があります。同じ状態へ至る経路のうち、その後の計算に必要なものを残せば、無駄な計算を減らせる。確率の導入は、探索の方法の工夫とも一緒に進みました。
統計的機械翻訳が利用した、二言語の対応例
翻訳でも、文法規則を人がすべて記述する方法とは別に、対訳のデータから対応を学ぶ方法が発展しました。英語の文と、その翻訳が大量にあれば、どの単語や表現が対応しやすいかを推定できます。1993年のIBMの研究者らによる論文は、その確率的な枠組みを示す代表的な研究です。
難しいのは、一語ずつ置き換えれば訳文になるわけではないことです。語順が変わり、一つの語が複数の語に対応し、明示しなくてもよい語が消える場合もある。「私は本を読みます」と英語の対応文では、単語の並び方も文法上必要な要素も異なります。
そこで、単語の対応、並び方、訳文としての自然さなどを確率的に扱い、有望な翻訳を探します。データから学ぶことと、候補を探索することが組み合わさっている点が重要です。統計の導入は探索の消滅ではなく、探索を支える評価の与え方の変化でもありました。
SVMが重視した、境界の位置と余裕
1990年代には、サポートベクターマシン、SVMも有力な分類手法になりました。二種類のデータを分ける線が何本も引けるとき、ただ分けられればよいとは考えません。境界と近くのデータとの間に、できるだけ余裕を持たせることを重視します。
二つの集団が離れているなら、片方の点にぎりぎり接する線より、間を通る線の方が小さな変動に耐えられるでしょう。この直感を最適化の問題として扱います。ただし、現実のデータは完全には分かれないため、分類の誤りと境界の余裕を釣り合わせる設計も必要です。
また、元の特徴では直線で分けにくい場合でも、別の特徴空間で線形に分ける考え方があります。カーネル法は、その計算を工夫する仕組みです。難しい名前の中心にあるのは、データの表し方を変えれば、単純な境界でも複雑な区別が可能になるという発想でした。
学習用の問題を解けても、未知の問題に強いとは限らない
機械学習では、過去の例を正しく分類できることだけを目標にすると、記憶に偏る危険があります。学習に使った写真の背景や、特定の話者の癖まで覚えてしまえば、別の写真や声に対応できないかもしれません。これが過学習の問題です。
そこで、学習に使うデータと、調整の確認に使うデータ、最終評価に使うデータを分けます。学校の試験でも、問題と答えを全部見てから受験した点数では、初めての問題を解く力は分からないでしょう。AIの性能にも、何を事前に見ていたかという条件が欠かせません。
ただし、データを機械的に分ければ十分とも限りません。同じ録音のほぼ同じ部分や、同じ写真の加工版が両方に入れば、情報が漏れることがあります。評価の独立性を保つ作業は、モデルの式を考えることと同じくらい、結果の信頼性を左右します。
深層学習以前にもあった、データの偏りという問題
データに基づく方法は、データが代表していない状況に弱くなり得ます。静かな場所の音声だけで学習したなら、駅の雑音に苦戦するでしょう。昼間の写真ばかりなら、夜の画像で性能が落ちるかもしれません。データの件数が多くても、必要な条件が含まれているとは限らないのです。
さらに、入力と答えの間に見つかった関係が、原因と結果を表しているとは限りません。傘を持つ人が多い日に道路が濡れていても、傘が雨を降らせるわけではない。予測に役立つ相関と、介入したときの変化を説明する因果は区別しなければなりません。
この問題は、モデルが大きくなってから生まれたものではありません。統計的機械学習の時代から続く課題です。深層学習は表現を学ぶ力を伸ばしましたが、データの集め方と評価の条件を不要にしたわけではないのです。
規則を捨てずに、不確実さを計算へ入れる進歩
確率と統計の導入は、論理を諦めて曖昧さに逃げた出来事ではありませんでした。現実の観測が曖昧であることを前提に、その中でも妥当な判断をする方法を発展させたのです。対象の構造を表す仮定と、例から推定する数値が組み合わされています。
HMMにもSVMにも、人が決めた構造や目的があります。機械が「何も教えられずに勝手に学ぶ」というより、何を学習問題にするかを人が設計し、具体的な対応をデータから獲得する形です。その分担が、手書きの規則だけでは扱いにくかった音声や画像へ道を開きました。
次の転機は、特徴の作り方まで学習の対象にすることです。どんな線や模様を数えればよいかを人が細かく決める代わりに、途中の表現をニューラルネットワークに獲得させる。そのための学習技術が、誤差逆伝播や深いネットワークの研究でした。