「AIは意味を分かっていない。次に来る単語を確率で選んでいるだけだ」。この言い方は、いまや常識のように流通しています。反対に「いや、実際に考えている」と言う人もいます。この論争が何年も終わらないのは、両者が別々のことを言い争っているからです。

私は大学院で数学（測度論と経路積分）をやっていました。その立場から見ると、この議論には整理できる部分と、整理してもどうにもならない部分がはっきり分かれています。順に切り分けます。

出発点：確率的オウム

「確率的オウム（stochastic parrot）」という言い方は、2021年の学会論文「On the Dangers of Stochastic Parrots」で提案されました。著者はEmily M. Bender、Timnit Gebru、Angelina McMillan-Major、Margaret Mitchellの4氏です。

そこでの主張を要約すると、大規模言語モデルは意味に触れないまま、言語の形だけを確率的につなぎ合わせている、というものです。オウムが音を真似るのと同じで、そこに理解はない、と。

まず、争いのない部分から

言語モデルが計算しているものは、はっきりしています。「これまでの文章が与えられたとき、次に来る語がそれぞれ何％か」という条件付き確率分布です。これは解釈ではなく、実装上の事実です。AIを擁護する側も、この点は否定しません。

つまり、「確率で次の語を選んでいる」という記述そのものは、全員が同意しています。論争になっているのは、そこから先の「だから理解ではない」の部分だけです。

「オウム」という比喩は、どこでずれるか

オウムは、聞いた音をそのまま再生します。持っているのは記録です。ここが比喩として引っかかります。

言語モデルのパラメータ数は、学習した文章の量よりも桁違いに小さいのが普通です。ということは、読んだ文章を一字一句そのまま保存しておく余地が、物理的にありません。やっているのは記録ではなく圧縮です。

そして情報理論では、圧縮と規則の発見はほぼ同じことを指します。元のデータより短い表現で足りるのは、そこに繰り返しや構造があるからです。データを小さくできた分だけ、何らかの規則を捉えたことになります。「丸暗記して貼り合わせている」という描写は、この一点で成り立ちません。

答えの出る問いに置き換える

「理解しているか」は、実験では決着しません。理解という語の定義が先に決まっていないからです。意味を「実際の対象を指し示すこと」と定義すれば、テキストしか見ていないモデルは定義上、意味を持ちません。一方で意味を「他の語との関係の中での位置」と定義すれば、話は逆になります。

定義の争いを、実験で決めようとしてはいけない。

ですので、数学の側からできることは、答えの出る問いに置き換えることです。たとえばこう置き換えます。「モデルの内部に、外の世界の構造に対応する状態ができているか」。これなら測れます。

この形で行われた実験で有名なものに、オセロを使ったものがあります（Li ら 2023年、およびNanda らによる続報）。盤面は一度も見せず、棋譜（指し手の並び）だけを与えて、次の一手を当てるように訓練しました。それだけです。

その後でモデルの内部を調べたところ、各マスの状態、つまり盤面そのものに対応する内部表現ができていました。後続の研究では、単純な線形の判別器で99％を超える精度で盤面を取り出せることが示されています。

次の一手を確率で予測するように訓練しただけのモデルが、その内側に盤面を組み立てていた。これは「意味への参照はない」という主張に対する、具体的な反例のひとつです。ただし、オセロは閉じた小さな世界です。ここから「だから言語モデルも世界を理解している」までは、まだ距離があります。

それでも定義を置くなら——「意味の意味」で止める

ここまで「定義が決まらないから決着しない」と書いてきました。では、自分ならどう定義するのか。逃げずに書いておきます。

意味について議論するには、まず「意味の意味」を決めなければなりません。ところがそれを問い始めると、今度は「では、意味の意味の意味は何か」と問えてしまう。この問いは、どこまでも遡れます。

数学は、この問題にとうに答えを出しています。定義の連鎖は、どこかで止めるしかない。現代の幾何学（ヒルベルトの公理系）は、「点」や「直線」を定義しないまま置き、そこから先を組み立てます。止めることは逃げではなく、議論を始めるための手続きです。

ですので私は、「意味の意味」で止めます。そして、こう定義します。

意味があるとは、それが何らかの価値をもたらしていること。
言いかえれば、それが無くなったら誰かが困る状態のこと。

この定義に立つと、問いの形が変わります。「AIは意味を分かっているか」ではなく、「AIの出力が無くなったら、誰かが困るか」。困る人がいるなら、その出力には意味がある。いないなら、どれほど流暢でも意味はない。

この定義は、意味を話し手の内側ではなく、受け取った側に置いています。AIの中で何が起きているか——理解しているのか、確率を計算しているだけなのか——は、ここでは問いません。問うのは、それで誰かが助かったか、困らずに済んだかです。

「確率的オウムか、考えているのか」という論争が噛み合わなかったのは、どちらの側も意味をAIの内側に探していたからだと思います。内側は見えません。だから決着しない。外側——誰かが困るかどうか——なら、見えますし、測れます。

「〜しているだけ」という言い方について

ここが、私がいちばん引っかかる部分です。

「確率分布を計算しているだけ」という言い方には、実は何の否定も含まれていません。対象がどう記述できるかを述べているだけで、その対象に何ができるかについては、一言も言っていないからです。

物理でも同じことが起きます。経路積分は「考えうるすべての経路に重みを付けて足し合わせているだけ」の手続きです。統計力学は「分布を扱っているだけ」です。それでも、そこから運動が出てきますし、物質の性質が出てきます。記述が単純であることは、帰結が単純であることを意味しません。

「〜にすぎない」という表現は、議論を終わらせたように聞こえるだけで、実際には何も終わらせていません。この点は、AIを持ち上げる側にも当てはまります。「膨大なデータから学んだのだから理解しているはずだ」も、同じ種類の飛躍です。

では、Benderらは間違っていたのか

いいえ。ここは押さえておくべきところです。

あの論文の主眼は、そもそも「AIは理解しているか」という哲学的な問いではありませんでした。学習データに含まれる偏りが、そのまま出力に乗って再生産されること。巨大なモデルを作り続けるコスト。そして、研究の資源がそちらに一極集中していくこと。論じられていたのは、こうした具体的なリスクです。

「オウム」という言葉は、能力の上限を宣言するためというより、機械を人間のように語ってしまう癖に歯止めをかけるための比喩として置かれたものでした。それを能力の論争として消費したのは、受け取った側です。

仕事の場では、この問いを持ち込まない

ここまで書いたうえで申し上げると、「AIは理解しているのか」を社内で議論しても、業務は1ミリも進みません。定義が決まらない問いだからです。決着しない議論は、導入するかしないかの判断を先送りする口実になるだけです。

置き換えるべき問いは、次の3つだと考えています。

• 自社のデータで壊れるか。世に出ているデモではなく、自社の文書・自社の言い回しで試す。学習時に見ていない形式に、どこまで耐えるか。
• 根拠を出せるか。答えだけでなく、どの文書のどこを見たのかを示せる作りになっているか。これは理解の有無ではなく、設計の問題です。
• 間違いに気づける形になっているか。誰が、どの基準で、いつ確認するのか。AIの側ではなく、受け入れる側の問題です。

この3つは、どれも「これが外れたら、誰が困るか」から逆算した問いです。先ほどの意味の定義を、仕事の言葉に直しただけです。

当社がRAGやハーネスについて書いてきた記事は、突き詰めればすべてこの置き換えの話です。理解しているかは分からない。しかし、根拠を渡し、範囲を区切り、外れたら黙らせることはできる。そちらは工学の問題なので、手を動かせば答えが出ます。

AIが考えているかどうかは、まだ誰も決められません。ですが、考えていようがいまいが動く仕組みは、いま作れます。