あれは翻訳機の子孫である

文章を書く人工知能は、何をする機械として作られたのか。

会話をするためではない。あの仕組みが最初に置かれていた場所は、翻訳である。比喩ではなく、英語をフランス語に直す、あの機械翻訳のことだ。

なお、ああいうものは大規模言語モデルと呼ばれる。英語で large language model といい、その頭文字をとって LLM とも書く。オープンAIの GPT、グーグルの Gemini、アンソロピックの Claude が、それにあたる。長いので、以下ではモデルと呼ぶ。

一本の数のならびに押し込んでいた

二〇一四年、イリヤ・サツキヴァーたちが、翻訳をニューラルネットワークだけでやる方法を出した。脳の神経のつながり方をまねた計算の仕組みのことで、規則を人が書くかわりに、大量の例を見せて調整する。

仕組みは単純である。入力の文を読み込んで、一つの数のならびに変える。そこから、出力の文を一語ずつ組み立てる。読む側と書く側の二つに分かれていて、あいだをつなぐのが、その数のならび一本だった。英語からフランス語で、当時の評価用のデータを使って良い点が出た。翻訳の出来は、人間の訳した文とどれだけ重なるかを機械で測って、点数にする。

ただ、詰まりがあった。文が長くなると壊れる。三語の文でも三十語の文でも、同じ長さの数のならび一本に押し込むからである。

全体を見に行くことにした

同じ年、ドミトリー・バーダナウ、キョンヒョン・チョー、ヨシュア・ベンジオが、この詰まりを外した。論文の題は「対応付けと翻訳を同時に学習するニューラル機械翻訳」という。

やったことは、一本にまとめるのをやめたことである。出力の語を一つ作るたびに、入力の文の全体を見に行って、いま関係のある場所を自分で選ばせる。

これが、注意機構と呼ばれているものの最初である。翻訳の事故を直すために作られた。

それだけでいい、と言った論文

三年後の二〇一七年、「Attention Is All You Need」という論文が出た。題のとおりで、それまでの読み書きの構造を全部捨てて、注意機構だけで組む、という提案である。

この論文に載っている評価は、ほとんど翻訳である。二〇一四年の翻訳コンテストの、英語からドイツ語と、英語からフランス語。点数はそれぞれ二八・四と四一・八。翻訳以外は、英語の構文解析を一つ試しているだけで、それも他の課題にも通用することを示すための添え物である。

いま世の中で動いているモデルは、ほとんど全部がこの論文の子孫である。

会話用ではないものに、会話をさせている

三つを並べると、系譜がはっきりする。文字列を受け取って、別の文字列を返す。翻訳とは、まさにその形の仕事である。そして、その形のまま今日まで来た。

会話をする機械として設計されたのではない。会話は、その形の上に後から乗せられたものである。

使っていて引っかかる場所は、だいたいここから来ている。