考えているのは、出力の中である

文章を書く人工知能のことを、大規模言語モデルという。英語で large language model、その頭文字をとって LLM とも書く。オープンAIの GPT、グーグルの Gemini、アンソロピックの Claude が、それにあたる。以下ではモデルと呼ぶ。

順を追って考えてください、と書き足すと答えが良くなる。これはよく知られていて、たいてい「そう言うと丁寧にやってくれる」という説明がついている。

そうではないと思う。仕組みから出てくる話である。

出した語が、次の材料になる

モデルは、次に来そうな語に確率をつけて、一つ選ぶ。選んだら、それを文の末尾に足して、また同じことをする。

ここで大事なのは、足したあとの状態である。二語目を選ぶとき、一語目は入力の一部になっている。三語目を選ぶときは、一語目と二語目の両方が材料に入っている。

つまり、出した語しか、次の判断には使えない。出さなかったものは、どこにも残らない。

人は、書く前に考えることができる。頭の中で選択肢を並べて、比べて、外して、残ったものを書く。書かれた文は結論だけで、比べた過程は外に出ない。

モデルには、その外に出ない場所が無い。

一語ずつ選ぶ動作しか無いので、考えるための材料を溜めておく場所が、出力そのものしか無いのである。書くことが、そのまま考えることになっている。

だから、いきなり結論だけ書かせると、比べる場所が存在しないまま結論が出てくる。それらしい結論が、一発で出る。当たっていることもあるし、外れていることもあるが、どちらの場合も検討はしていない。

順を追って書かせると、話が変わる。途中で書いた一行が、次の一行を選ぶときの材料になる。条件を並べさせれば、その条件を見ながら次を選ぶ。候補を三つ挙げさせれば、その三つを見ながら比べられる。

効くのは、丁寧にやる気になったからではない。材料が増えたからである。

これを最初に示したのが、二〇二二年にジェイソン・ウェイたちが出した論文である。題は「思考の連鎖のうながしは、大規模言語モデルの推論を引き出す」という。

要旨に、こう書いてある。

五千四百億のパラメータを持つ言語モデルに、思考の連鎖の例をたった八つ示してうながすだけで、算数の文章題を集めた課題で当時の最高精度に達した。検証の仕組みまで付けて微調整した GPT-3 すら上回っている

大事なのは、モデルを一切いじっていないことである。学習し直してもいないし、大きくもしていない。示した例が八つ増えただけだ。

それで結果が変わるということは、足りなかったのは能力ではなく、材料の置き方だった、ということになる。

三つ、実務的な帰結がある。

一つ。難しい判断ほど、結論だけを求めてはいけない。何を見て決めたのかを先に書かせる。「まず条件を並べて、それから決めて」と形を指定する方が、「よく考えて」と頼むより効く。前者は材料の置き場所を作っているが、後者は何も変えていない。

二つ。途中を書かせると、検算できるようになる。頭の中でやられると外から見えないが、書かれていれば読める。おかしいのが結論なのか、途中の一行なのかが分かる。分かれば、その一行だけを直せる。

三つ。ただし、途中の一行も同じように確率で選ばれている。間違った前提を書いてしまえば、その上に載る結論も一緒に転ぶ。むしろ、もっともらしい途中式があるぶん、結論だけのときより信じやすくなる。途中が書いてあるから正しい、ということにはならない。

この機械は、頼み方でずいぶん結果が変わる。それを「相性」や「コツ」として語ると、覚えることが無限に増える。

仕組みの側から見ると、効く頼み方はだいたい一つのことをやっている。次を選ぶときの材料を、あらかじめ出力の中に置かせている。

資料を先に貼ってから質問するのも、条件を箇条書きにさせるのも、候補を挙げさせてから選ばせるのも、同じ形をしている。窓の中に材料を並べてから、その先を選ばせる。

考えさせたいなら、書かせる。書かれていないものは、考えられていない。