所詮は確率生成器である | 荻野舜樹のAI実験室

文章を書く人工知能のことを、大規模言語モデルという。英語で large language model、その頭文字をとって LLM とも書く。オープンAIの GPT、グーグルの Gemini、アンソロピックの Claude が、それにあたる。以下ではモデルと呼ぶ。

このモデルは、答えを知っていて教えてくれるものではない。

次に来そうな語に確率をつけて、そこから一つ選ぶ。選んだら、それを含めてまた次を考える。やっているのはそれだけである。所詮は確率生成器ですよ、という感覚は、あまり広まっていないように見える。

何をしているか

知っている語をぜんぶ並べた表がある。何万という数がある。

文の途中まで渡すと、その表の全部の語に対して、次に来る確率をつける。「今日の天気は」まで来たら、「晴れ」に高い数、「晴れ」の次くらいに「雨」、「冷蔵庫」にはほぼゼロ、といった具合である。

そこから一つ選ぶ。いちばん高いものを必ず選ぶこともできるし、確率に応じて散らすこともできる。散らす度合いは、外から調整できるようになっている。

選んだら、それを文の末尾に足して、また同じことをする。文の終わりを示す印が出るまで繰り返す。それだけである。

出自が翻訳だからだ。

翻訳には、正解が一つではない。「I love you」を日本語にするとき、愛してる、好きだ、大好き、のどれもありうる。文脈で変わるし、訳す人でも変わる。

だから、一つの答えを出す機械ではなく、候補に重みをつけて持つ機械として作られた。統計的な機械翻訳の時代から、確率で訳す、というのは同じである。その形が、そのまま今日まで来ている。

一つ。同じことを二度聞くと、違う答えが返ることがある。故障ではない。確率から選んでいるのだから、当たり前の挙動である。

二つ。確からしさが、出力の見た目に現れない。表の中で九九パーセントの語を選んでも、三パーセントの語を選んでも、出てくるのはただの文である。文体も、語調も、自信ありげな断定も、全部同じように出る。

三つ。だから、知らないことについても止まらない。次に来そうな語は、いつでも計算できてしまうからである。存在しない本の題名も、存在しない条文の番号も、それらしい形で出てくる。嘘をついているのではなく、それらしい語を選び続けた結果がそうなる。

このモデルが最大化しているのは、それらしさである。正しさではない。

ふだんは、その二つがよく一致する。世の中の文章は、だいたい正しいことが書いてあるからだ。だから、たいていの場面ではうまくいく。

だが、一致を保証する仕組みは、中に入っていない。一致するように作られてすらいない。

使う側にできることは、正しさをモデルの側に期待しないことである。出てきたものを、こちらで照合できる形にしておく。出典を出させる、計算は別で検算する、事実は元の資料に当たる。面倒に見えるが、確率で選んでいる以上、そこは省けない。