写真に「犬」という正解を付ければ、機械は自分の予測が合っていたかをすぐ確かめられます。では、囲碁の一手や、迷路で曲がる方向はどうでしょうか。その場では良さそうでも、何十手も後に負けるかもしれません。最後の結果から、途中の行動を評価しなければならないのです。
このように、行動とその結果を通じて方針を改善するのが強化学習です。AlphaGoの登場で広く知られるようになりましたが、考え方の蓄積はそれ以前から続いていました。重要なのは、人間が正しい一手を毎回教える代わりに、成功や失敗から将来に役立つ判断を学べる点です。
すぐの得点より、最後までの結果を重視する学習
説明用に、ゴールへ向かう迷路で、途中に小さな得点が置かれているとしましょう。近くの得点を取るために袋小路へ進めば、目先では得をしてもゴールは遠ざかります。強化学習では、その場でもらう報酬だけでなく、その後に得られる報酬も含めて行動を評価します。
将来の報酬をどう重視するかは、課題の設計に関わります。遠い未来を重く扱えば長期的な行動を学べますが、予測も難しくなるでしょう。また、報酬が何も得られない時間が長いと、どの行動が成功に結び付いたのか判断しにくくなります。
この「最後の結果を途中の行動へどう割り当てるか」は、信用割当と呼ばれる中心的な問題です。勝った対局のすべての手が最善だったわけではなく、負けた対局にも良い手はある。結果をそのまま各行動の評価へ貼り付けるだけでは、十分な学習になりません。
得られた経験で方策や価値を更新し、再び行動します。報酬が遅れて得られる場合もあります。
予想のずれを、一つ前の判断へ戻す
最後の勝敗まで待たずに、途中の予測の変化から学ぶ考え方もあります。ある状態を有利だと思って進んだのに、次の状態では見通しが悪くなったなら、前の評価は楽観的すぎたかもしれません。逆に、予想以上の報酬やよい状態へ進めたなら、前の評価を上げる材料になります。
説明用に、ある行動の価値を5と見積もっていたとします。実際に得た報酬が1で、次の状態の価値が6、将来の価値を0.9倍して扱うなら、目標の見積もりは1＋0.9×6＝6.4です。予測5との差は1.4。その差の一部を使って評価を上げられます。
これは時間差学習の考え方を示す単純な例です。学習の途中では、次の状態の価値6もまだ不正確かもしれません。完全に分かった答えだけで学ぶのではなく、改善しつつある見積もりを使って、別の見積もりも更新する点に特徴があります。
こうした更新を多くの経験で重ねると、最後に得る報酬の情報が、以前の判断へ徐々に伝わります。ただし、どんな条件でも収束するという意味ではありません。関数近似の方法や経験の集め方によって、学習の安定性には別の工夫が必要になります。
既知の良い選択と、まだ試していない選択
強化学習には、探索と活用の問題もあります。ある行動でよい結果を得たなら、それを繰り返したくなるでしょう。しかし、試していない別の行動がもっと良いかもしれません。現在知っている最善を使うことと、知識を増やすために試すことの釣合いが必要になります。
たとえば、自動機械が二つの経路を選ぶとき、一方は何度も試して平均10秒、もう一方は一度だけ試して12秒だったとします。後者がいつも遅いのか、たまたま障害があったのかは分かりません。一回の結果だけで選択肢を捨てれば、より良い方法を見逃す可能性があります。
ただし、現実では試すこと自体に費用や危険が伴います。盤上ゲームなら失敗しても次の対局を始められますが、実物の装置では壊したり、周囲へ影響を及ぼしたりするかもしれません。シミュレーションでの成功を実世界へ移す際には、この違いが大きな障害になります。
DQNが結び付けた、画面の認識と行動の評価
2013年に発表されたAtariゲームの研究では、深いニューラルネットワークとQ学習を組み合わせ、画面の画素から行動を学ぶ方法が示されました。後にDQNとして広く知られる研究の初期の成果です。どんな画面かを数値的に処理する部分と、どの行動が将来の報酬へつながるかを推定する部分が結び付きました。
Q値は、ある状態である行動を選んだとき、その先にどれほどの報酬を期待できるかという見積もりです。判断のたびに、最後まで実際に試す必要はありません。経験で更新されるこの値を使って、次の行動を選べます。
共通の学習方式を複数のゲームに適用できても、一つの学習済みモデルがすべてを自在に遊べるとは限りません。この研究の成果も、その区別の上で捉える必要があります。また、ゲームの得点は目標として明確で、現実の曖昧な目的とは条件が違うのです。
AlphaGoの強さを支えた、方策と価値と探索
2016年、AlphaGoはイ・セドルとの五番勝負に4勝1敗で勝利しました。囲碁では候補となる手が多く、単純な総当たりでは膨大な計算になります。強さの中心にあったのは、ニューラルネットワークによる評価と、先の展開を調べる探索の組合せでした。
どの手を選ぶとよさそうかを示す方策と、局面の有利さを見積もる価値。この二つを利用して、有望な手を優先し、その先の局面を評価します。すべての可能性を同じ深さまで調べるのではありません。
ここには、初期AIの探索と、学習によって評価を得る方法の両方が入っています。「昔は探索、今は学習」という二分法では、AlphaGoの強さを説明できません。学習が探索を案内し、探索で得た情報がより良い判断へつながる点が重要なのです。
AlphaGo Zeroの「ゼロ」は、何も与えないという意味ではない
2017年のAlphaGo Zeroでは、人間の対局例から学ぶ段階を省き、自己対戦によって強くなる方法が示されました。自分自身を相手に対局し、結果を使ってネットワークを更新し、更新されたネットワークと探索でさらに対局するという循環です。
ただし、ゼロから学ぶという言葉には注意が必要です。囲碁のルール、勝敗の判定、盤面の表現、学習の仕組み、計算資源は人が用意しています。人間の棋譜に頼らないことと、人間の設計を一切受けないことは同じではありません。
また、自己対戦が強力なのは、対戦を大量に生成でき、結果を比較的明確に判定できる条件にも支えられています。歴史上の出来事について正しい説明を書く課題では、同じ方法で真実を無限に作り出せるわけではないでしょう。学習に使う経験と評価を、どこから得られるかが決定的です。
MuZeroが学んだ、計画に必要な世界のモデル
さらに進んだ研究として、2019年に論文が公開されたMuZeroがあります。環境のルールを明示的な完全モデルとして与える代わりに、計画に役立つ内部モデルを学習する方向を示しました。そこでは、報酬、価値、行動の選び方に必要な情報を予測します。
ここでも、現実世界のすべてを理解する模型ができたと考える必要はありません。ゲームで良い行動を選ぶために必要な予測と、画面のすべての画素を完全に再現することは別です。目的に関係する情報を内部で保持できれば、細部を全部再現しなくても計画に役立つ場合があります。
この区別は、地図にも似ています。駅まで歩くための地図には、すべての建物の壁の色は不要でしょう。しかし、通れる道や橋が省かれていれば困ります。モデルの価値は、現実とあらゆる点で同じかではなく、何を判断するために十分かに依存するのです。
報酬が目的の代用品になるときの危うさ
強化学習は、与えられた報酬を高める方向へ進みます。しかし、報酬が本来の目的を完全に表しているとは限りません。掃除の課題で「ごみを検出した回数」を報酬にすれば、きれいにすることより、ごみを見つけ続ける行動が有利になるかもしれません。これは設計の問題を示す仮の例です。
良い代理指標を選んだつもりでも、最適化を強く進めると、想定していなかった抜け道が現れる場合があります。目的から外れた行動が、数値の上では高得点。機械の意地悪を想定しなくても、評価の定義と望む結果のずれで説明できる現象です。
そのため、性能を上げる学習法と、何を良い結果とするかの設計は切り離せません。この問題は、対話AIを人の好みに合わせる学習にも引き継がれます。高い評価を得る答えと、正しい答えが必ず一致するとは限らないからです。
ゲームでの勝利が広げた可能性と、越えていない境界
AlphaGoの価値は、人間のトップ選手に勝った驚きだけではありません。学習した評価と探索を組み合わせることで、膨大な候補を持つ課題に取り組めると示した点です。人の手順をそっくり再現しなくても、高度な成果へ到達できることも明確になりました。
一方、勝敗が明確なゲームの成果だけで、日常全般を任せられる知能を証明したことにはなりません。現実では目標が複数あり、情報が不完全で、途中で人の希望が変わることもあります。どの条件を固定して成功したのかを知ると、成果の大きさと残る課題を同時に理解できます。
学習と探索の組合せは、その後、数学の証明や推論時の計算にも関わっていきます。試して結果を確かめられる問題では、答えを一度だけ出すより、候補を作り、評価し、改善する循環が強く働くのです。