AIが試験で高得点を取ると、「人間を超えた」と語られることがあります。一方、小さな間違いを見つけると、「何も理解していない」と断じられることもあるでしょう。しかし、高得点も失敗も、それぞれ何を測ったのかを確かめなければ、能力の全体像にはつながりません。
AI研究は、能力の測り方も変えてきました。会話、ゲーム、画像分類、知識問題、数学の証明を、同じ成功条件で比べることはできません。どんな経験、道具、制限時間の下で得られた数字かを知って、初めて成績の意味が分かるのです。
同じ90点でも、知りたい能力が違う試験
暗記した問題を解く試験と、初めての問題を解く試験では、同じ90点でも意味が違います。資料を見てよい試験と、記憶だけで答える試験も、そのままでは比べられません。AIでも、答えの手がかりを入力に含めるか、検索や計算機を認めるかが条件を変えます。
たとえば歴史の年号を答える課題では、検索付きのシステムが優れていても、それは検索と資料選択を含む性能です。一方、検索なしで答えたモデルは、事前学習で得た情報を利用しています。どちらが便利かは用途によりますが、同じ能力の測定だとは限りません。
さらに、一回だけ答えるのか、100回生成して最良の答えを選ぶのかでも差が出ます。候補の選別に正解情報を使っているなら、実際の利用より有利な条件になるでしょう。モデル名と点数だけでは、比較に必要な情報が足りないのです。
点数だけでは、モデル単体の能力と周辺システムの効果を分けられません。
学習データへの混入が変える、未知問題の意味
公開された試験問題は、解説や解答とともにインターネットへ広がります。それが学習データに含まれれば、モデルは評価される前に問題へ接しているかもしれません。これが、評価データの汚染や混入として問題になります。
ただし、学習中に似た問題を見たことがあるからといって、その回答がすべて丸暗記だと断定できるわけでもありません。人間も例題から学んで新しい問題を解きます。問題は、評価が測りたい一般化と、事前に得た情報による有利さをどこまで区別できるかです。
そのため、非公開の問題、新しく作った問題、表面を変えた問題、必要な関係そのものを変えた問題などを使い分ける必要があります。単に数値や名前を置き換えるだけでは、解法の型をそのまま利用できる場合もあるのです。
正答率と、間違え方の分布
二つのモデルの正答率が同じでも、失敗する問題が違えば使い道は変わります。片方は難しい問題だけで失敗し、もう片方は簡単な問題にも不規則に失敗するかもしれません。平均点だけでは、この違いを見つけにくくなります。
言い換えに対する安定性も重要です。同じ意味の質問を少し変えただけで答えが反転するなら、特定の言い回しに依存している可能性があります。逆に、条件を一つ変えたのに答えが変わらなければ、その条件を十分に使っていないかもしれません。
こうした確認は、失敗例を一つ探して全能力を否定するためではありません。どんな種類の変化に強く、どこで壊れるかを明らかにするためです。能力の境界が分かることは、単に高い平均点を知ることより、利用に役立つ場合があります。
TruthfulQAが問い直した、もっともらしさと真実
2021年に提案されたTruthfulQAは、人間の文章に広まっている誤解をモデルが再現しないかを測ろうとしました。学習データでよく見かける回答が、正しいとは限らないからです。言語の分布を上手にまねる能力と、誤解を避ける能力の差を問題にしています。
ある誤った説が多くの場所で繰り返されていれば、それらしい続きを予測するモデルにとって、その説は出しやすい候補になります。文章の自然さを高める学習だけでは、事実に照らして否定すべき主張を必ず排除できるとは限りません。
ただし、当時のモデルの結果を、そのまま現在のすべてのモデルへ当てはめるべきではありません。この研究の長く残る価値は、流暢さや一般的な知識問題の点数だけでは、真実性を十分に測れないと明確にした点にあります。
HELMが採った、多面的な評価
2022年のHELMは、言語モデルを複数の場面と指標で評価する枠組みを提案しました。正確さだけでなく、頑健性、確信度の適切さ、公平性、偏り、効率などを合わせて扱います。単一の順位表では見えにくい、能力間の違いやトレードオフを示そうとしたのです。
確信度の適切さとは、自信の大きさと実際の正しさが対応しているかという問題です。90％正しいと言う場面で、本当にその程度当たるのか。なお、文章で「自信があります」と述べたことと、統計的に較正された確率を出せることは同じではありません。
効率も重要です。同じ正答率でも、計算時間や資源が大きく違えば、使える場面は変わります。高性能を示すことと、必要な速度や費用で提供できることは別。これはAIの冬の時代から続く、実演と運用の違いでもあります。
ARCが重視した、少ない例から新しい規則を得る力
フランソワ・ショレの2019年の研究では、知能を、既知の課題での成績だけではなく、新しい課題をどれだけ効率よく学べるかという観点から論じました。その問題意識に基づく評価の一つが、色付きの格子などを使うARCです。
いくつかの入力と出力の例を見て、そこにある変換の規則を推定し、新しい入力へ適用する。何千種類もの答えを前もって教わる場合とは、要求される適応が違います。移動、反転、数、形の関係など、少ない例から何を共通点として捉えるかが問われます。
ただし、ARCの成績も知能のすべてを決める唯一の物差しではありません。どの事前知識を前提にするか、問題をどう生成するか、探索へどれだけ計算を使うかといった条件があります。既存の試験の弱点を補う新しい問いであり、評価の議論を終わらせるものではないのです。
理解の有無を、一つの成功や失敗で断定しない理由
モデルが文章の関係を利用し、初めての問題へ対応したなら、その能力は実験で確かめられる成果です。「次の語を予測するだけだから、何もできない」と先に結論してしまうと、実際に得られた能力を説明できません。
一方、高度な答えを作れたからといって、人間と同じ経験や意識を持つことまで証明されたわけではありません。行動としての能力、内部表現の性質、主観的な経験は、関連し得ても異なる問いです。チューリングの時代から続く区別が、ここでも必要になります。
理解という言葉を使うなら、何をできることを意味するのかを具体化すると議論が進みます。説明を言い換えられるのか、条件の変更へ対応できるのか、反例を見つけられるのか、現実の結果と結び付けられるのか。それぞれを確かめる方が、言葉だけの賛否より情報が増えます。
AI研究史に繰り返し現れる、表現・探索・学習・検証
初期の記号的AIは、問題を状態や規則として表し、答えへの道を探索しました。エキスパートシステムは専門知識を利用し、統計的学習は不確実さを計算に入れます。深層学習は中間表現を学ぶ力を伸ばし、生成モデルは新しいデータを作る方法を発展させました。
さらに、外部検索や道具を利用するシステム、候補を生成して証明を検査する研究では、古い発想と新しい発想が再び組み合わされています。一つの方式が完全に消え、次の方式だけになった歴史ではありません。何を表現し、何を探索し、何を学び、どこで確かめるかという分担が変化してきたのです。
その進歩には、データを集める仕事、計算を速くする実装、評価の課題を作る仕事も含まれます。発明者の名前やモデルの巨大さだけでは、能力が伸びた理由を十分に説明できません。
次の成果を理解するための、比較可能な問い
新しいAIの成果が発表されたとき、まず知りたいのは、どの課題で何が改善されたかです。次に、事前に与えられたデータ、使える道具、試行回数、制限時間を確かめる。同じ条件での改善なのか、条件を変えて得た改善なのかで意味が変わります。
そして、結果を別の場面へ広げる根拠があるかを考えます。数学の証明での成功は大きな成果ですが、曖昧な目的を持つ日常作業の成功を自動的に保証しません。画像生成の美しさも、事実の記録としての正しさを意味しないのです。
AIの歴史を知る価値は、未来の到達年を言い当てられることではありません。驚くべき成果を、その成果を支えた条件とともに理解できることです。可能性を認め、限界を具体的に捉え、次に解くべき問題を見失わない。それが、長い研究の蓄積から得られる最も確かな見通しです。