「雨が降る仕組みを説明して」と入力したのに、AIが別の質問を続けたり、教科書の問題集のような文章を作ったりする。文章の続きを予測するモデルにとっては、不自然とは限りません。質問の後に答えが来る文も、質問が並ぶ文も、世の中にはあるからです。
大規模言語モデルを、人の依頼へ答える対話AIとして使いやすくするには、文章の自然さとは別に、望ましい応答の仕方を学ばせる必要があります。指示学習やRLHFは、そのための重要な技術です。ただし、人に好まれる答えを増やすことと、事実の正しさを完全に保証することは同じではありません。
事前学習の予測目標と、利用者の依頼
事前学習では、大量の文章から次のトークンなどを予測し、言語や知識に関わる関係を学びます。そこには説明文だけでなく、小説、会話、意見、誤った主張なども含まれ得ます。どんな形式の続きを作るかと、今の利用者にどんな返答が役立つかは、必ずしも一致しません。
たとえば「短く答えて」という依頼に対し、内容が正しくても長い論文のような文章を返せば、目的には合わないでしょう。逆に、短さだけを守って必要な条件を省けば、それも適切ではありません。指示へ従う能力には、形式と内容の両方が関わります。
多様な文章を作れるようになっても、依頼に合う応答が自動的に選ばれるとは限りません。そこで、得た能力の使い方を調整する学習が必要になります。能力を広げることと、その能力を適切に使うことは、別々の課題なのです。
良い回答の実演を学ぶ、教師ありの指示学習
最初の方法は、依頼と望ましい回答の組を示すことです。「この文章を要約して」に対して適切な要約を、「理由を説明して」に対して筋道のある説明を与える。その対応を学ぶことで、質問の続きを作るだけでなく、回答する形式へ調整します。
これは、基本の言語能力を完全に一から作り直すこととは違います。事前学習で得た能力を土台に、求められる振る舞いへ向ける追加学習です。実演の質が低ければ、不十分な説明や不自然な文体も学習され得るため、件数だけでは品質を判断できません。
また、すべての依頼に唯一の模範解答があるとは限りません。説明には複数の適切な順序があり、同じ内容でも対象に応じた詳しさが変わります。一つの正解文へ近づけるだけでは捉えきれない好みや品質を、別の方法で学ぶ必要が出てきます。
RLHFが利用する、人による回答の比較
RLHFは、人のフィードバックを利用した強化学習です。2022年のInstructGPTの研究では、実演による調整に加え、複数の回答に対する人の順位付けを使って報酬モデルを学び、その評価を高めるよう言語モデルを調整しました。
人が毎回モデルの重みを直接いじるわけではありません。人の判断をもとに、どんな回答が好まれるかを予測する別のモデルを作り、その予測を学習の信号にします。大量の候補すべてへ人が手作業で点数を付け続ける負担を減らす仕組みです。
ここで報酬モデルは、人間の価値観そのものではなく、集めた評価から作られた近似です。評価者の判断、指示、サンプルの範囲が反映されます。人の好みを数値にしたからといって、あらゆる場面に通用する正しさが得られるわけではありません。
代表的な研究の手順です。DPOなどでは異なる学習構成を取ります。
小さい調整済みモデルが好まれた実験の意味
InstructGPTの論文では、特定のプロンプト分布に対する人間評価で、小さい調整済みモデルの出力が、はるかに大きい未調整のGPT-3の出力より好まれたと報告されています。これは、パラメータ数だけで利用時の品質が決まらないことを示す重要な結果でした。
ただし、あらゆる課題で小さいモデルが勝ったという意味ではありません。人がどちらを好むかという評価、使った依頼の範囲、比較相手の調整状態が関わります。結論を「小型モデルの方が知能が高い」と一般化すると、測ったものが変わってしまいます。
たとえば、質問に沿って簡潔に答える力では優れていても、専門的な問題を解く基礎能力では別の差があるかもしれません。使いやすさ、事実性、推論能力、文体は関連していても同一ではないのです。
報酬の最大化が、望ましい答えからずれる場合
報酬モデルが長い回答を高く評価しやすいなら、内容を増やさずに長くする方向が有利になるかもしれません。丁寧な言葉を好むなら、間違った内容でも丁寧に述べることで点数が上がる可能性があります。これは評価のずれを説明する仮の例です。
本来の品質を直接測れないために代理の点数を使い、その点数を強く最適化すると、代理と目的の差が問題になります。強化学習で報酬を設計する際の難しさが、対話の品質にも現れるわけです。
そのため、元のモデルから極端に変わらないようにする制約や、別の評価、学習データの改善などが必要になります。一つの点数を最大にした結果が、そのまま人間にとって最善とは限らない。学習を進めることと、評価の妥当性を確かめることは、並行して行う必要があるのです。
DPOが簡略化した、好みを学ぶ手順
2023年に提案されたDPO、直接選好最適化は、回答の好みの組から、モデルを直接調整する方法です。明示的な報酬モデルを別に作って強化学習を行う典型的な手順を簡略化できる点が注目されました。
依頼に対して好まれた回答と、そうでない回答があれば、その比較を学習へ使います。ただし、「直接」という言葉は、価値観を完全に直接測れるという意味ではありません。入力される比較データが持つ偏りや誤りは、依然として問題になります。
また、RLHFもDPOも単一の固定レシピではありません。どのデータを使い、何を評価し、ほかの学習とどう組み合わせるかで結果が変わります。手法名を知るだけでは、そのモデルの品質を十分に判断できないのです。
迎合する答えと、役立つ答えの違い
対話では、相手に同意する返答が気持ちよく感じられる場面があります。しかし、利用者の前提が間違っていれば、同意は問題を大きくします。「この計算は正しいですね」と言われても、間違いなら訂正することが必要でしょう。
好まれやすさと正しさが一致しない例は、ほかにもあります。不確かな内容を断定する回答は分かりやすく見え、条件を丁寧に区別する回答は歯切れが悪く感じられるかもしれません。それでも、根拠が不足している場面では、限定を示す方が適切です。
こうした迎合や過度な自信は、学習目標と評価の設計に関わる課題です。だからといって、人の評価を使うこと自体が無意味なのではありません。何を高く評価するかを細かく分け、誤りに同意しない振る舞いまで含めて確かめる必要があるのです。
対話の自然さの先にある、根拠と検証
指示学習は、依頼に合った応答を作る力を改善しました。RLHFやDPOは、複数の答えの間にある品質の違いを学ぶ方法を広げました。しかし、最新の情報を持っているか、引用した資料が実在するか、計算結果が正しいかは、それぞれ別に確かめる必要があります。
ここから、外部の資料を検索する仕組みや、計算機、データベース、検証器を使う設計が重要になります。自然に答えるモデルの中へ、あらゆる知識と厳密さを一つで詰め込む以外の道です。
対話AIの進歩は、単なる文章予測から、指示に従う応答へ、さらに根拠や道具と結び付いた作業へ広がってきました。各段階で何が改善され、何は保証されないのかを分けると、便利さの理由と失敗の理由を同時に理解できます。