写真を見て「これは海」と分類することと、「夕方の海を描いて」と言われて画像を作ることは、同じではありません。前者は入力に名前を付ける課題、後者は条件に合う新しいデータを作る課題です。しかも、海の画像には一つの正解があるわけではないでしょう。
生成モデルの研究は、この多数の正解があり得る問題へ取り組んできました。GAN、拡散モデル、画像と文章を結ぶ学習は、それぞれ異なる工夫を持ちます。画像生成が進歩した理由を知るには、単に写真を大量に覚えたという説明を越え、どんな学習課題を作ったかを確かめる必要があります。
分類するモデルと、分布から作るモデル
分類器が画像から種類などを予測するのに対し、生成モデルはデータの規則性に沿う新しい例を作ります。白い点を適当に並べても、雪景色にはならないでしょう。局所的な模様だけでなく、全体の配置や条件との関係まで必要になるのです。
たとえば「椅子」という語に対応する画像には、正面、横向き、木製、金属製など多くの可能性があります。条件が同じでも、毎回違う画像を作れることは不自然ではありません。唯一の答えを再現する課題ではなく、条件の下で成り立つ多様な例を扱うからです。
ただし、脚の接続が不自然な椅子や、影の方向が合わない部屋も生成され得ます。どれほど多様に作れても、そのすべてが現実に存在し得るとは限りません。画像のもっともらしさと、三次元の物体としての整合性には距離があるのです。
GANが作った、生成器と識別器の競争
2014年のGoodfellowらの研究で提案されたGANは、生成するネットワークと、実データか生成データかを見分けるネットワークを組み合わせました。生成器は識別器に見破られにくいデータを作る方向へ、識別器は両者を区別する方向へ学習します。
たとえるなら、模型を作る側と、どこが不自然かを見つける側が、互いの上達に合わせて変化するような構図です。ただし、人間の鑑定家が常に画像を見て教える仕組みではありません。二つの数値モデルの学習が関係しているのです。
この方法では、生成画像と一対一で対応する唯一の正解画像を用意しなくても、データの分布へ近づける学習ができます。一方、学習の釣合いが難しく、似た少数の出力に偏るモード崩壊などの問題もあります。写実的な一枚ができたことだけでは、生成の多様さまでは保証されません。
拡散モデルが利用する、壊す過程の分かりやすさ
拡散モデルでは、データへ少しずつノイズを加える過程と、それを逆向きにたどる生成を扱います。きれいな画像を少し乱すことなら難しくありません。その作りやすい関係を学習課題へ利用した代表的な研究が、2020年のHoらによるDDPMです。
学ぶのは、乱れた入力をどの方向へ修正すればよいかという変換です。生成時も、一度に完成画を出すわけではありません。ノイズから始め、学習した変換を段階的に繰り返して画像へ近づけます。
ここで「ノイズを除く」と聞いて、元の一枚の写真を思い出して修復しているだけと考えるのは不正確です。生成時のノイズに、隠された完成写真が一枚ずつ埋まっているわけではありません。学習したデータの規則性や条件を使い、画像の分布から例を作る過程になります。
生成時のノイズに、特定の完成写真が隠されているわけではありません。
文章の条件は、画像生成へどう入るのか
「海を描いて」と「雪山を描いて」で出力を変えるには、文章の条件を生成過程へ伝える必要があります。文章を数値の表現にし、画像を作るネットワークがその情報を使えるようにする。条件付き生成の基本となる考え方です。
ただし、単語が含まれているだけで、すべての関係を守れるとは限りません。「赤い箱の左に青い球」という条件では、赤、箱、青、球に加え、どちらが左かという関係が必要です。物体がそれぞれ描かれていても、位置関係が逆なら指示には合っていません。
このため、画像生成の評価は、写実性だけでは足りません。条件との一致、物体の数、空間関係、文字の正確さなど、別の軸が必要になります。美しい画像を作る能力と、指定された内容を正確に描く能力は、同時に測るべき別の性質なのです。
CLIPが結んだ、画像と説明文の表現
2021年のCLIPの研究では、画像と文章の組を使い、対応するものの表現が近づくように学習しました。画像だけの分類ラベルより、自然言語の説明を利用することで、幅広い概念との関係を扱う方向です。
たとえば、橋の画像と「川に架かる橋」という説明を対応させ、関係のない説明とは区別するよう学びます。画像と文字の形式が同じである必要はありません。対応関係を学ぶことで、後から複数の文章を画像との合い方で比較できるのです。
ただし、CLIP自体は画像を描く生成器ではありません。画像と文章の関係を学ぶことと、その条件から画素を生成することは違います。生成AIの説明では、表現を結ぶモデル、条件を処理する部分、画像を作る部分を区別すると、役割を理解しやすくなります。
マルチモーダルは、入力を増やすだけの話ではない
文章、画像、音声など複数の形式を扱うことを、マルチモーダルと呼びます。けれども、画像の入力欄と文章の入力欄があるだけで、両者の関係を十分に理解できるわけではありません。同じ場面についての情報を、形式をまたいで結び付ける能力が必要です。
時刻表の写真について「次の列車は何時か」と尋ねるなら、文字の認識、表の行列の関係、現在時刻、行き先の条件が関わります。写真を大まかに「時刻表」と分類できても、質問の答えには届きません。認識から関係の理解まで、複数の段階があるのです。
また、音声には発話内容だけでなく、時間の区切りや話者の違いも含まれます。形式を増やすほど、情報は豊かになる一方、誤りの起き方も増えます。一つの入力形式で優れた成績が、そのまま全形式へ移るとは限りません。
生成物の自然さと、実在の証拠の違い
生成モデルが上手になると、存在しない風景や出来事も、写真らしく表せます。この能力は創作に役立ちますが、写っているように見えること自体を、出来事が実在した証拠にはできません。画像の外見と、画像が作られた経緯を分ける必要があります。
また、生成が単なる切り貼りではないことは、学習データの再現が絶対に起こらないことを意味しません。頻繁に現れるものや特定の条件では、学習例に近い出力になる場合があります。仕組みの一般的な説明だけから、個々の生成物の由来を断定することはできないのです。
科学や歴史の説明に使う図なら、雰囲気のよさより、位置、数、関係が合っていることが重要です。生成画像の進歩は、図の内容を検査する必要を減らすのではなく、見た目だけでは誤りに気付きにくくなるという別の課題も生みました。
生成AIの進歩を支えた、学習課題の工夫
GANでは、識別器との関係が生成の学習を支えました。拡散モデルでは、ノイズを加える過程を利用して逆向きの変換を学びます。画像と文章の学習では、対応する組とそうでない組を区別する課題が力を発揮しました。
どれも、完成した知能を直接教え込むというより、大量のデータから学習信号を得られる問題を設計しています。「何を正解として学ぶか」を工夫することで、以前は難しかった能力へ近づいたのです。
一方、生成できる内容が増えても、人の求める答え方にそのまま合うとは限りません。もっともらしい文章を作るモデルを、質問に答え、指示を守る対話AIへ変えるには、さらに別の学習が必要でした。それが指示学習と、人の評価を利用する調整です。