窓に入る単位に、仕事を切る | 荻野舜樹のAI実験室

文章を書く人工知能のことを、大規模言語モデルという。英語で large language model、その頭文字をとって LLM とも書く。オープンAIの GPT、グーグルの Gemini、アンソロピックの Claude が、それにあたる。以下ではモデルと呼ぶ。

モデルが一度に読める量には上限がある。窓と呼ばれるやつだ。溢れた分は黙って消えるので、溢れてから対処するのは分が悪い。

先に、溢れない大きさに仕事を割っておく。

扱いたい単位と、入る単位は違う

作った動画に説明をつけさせる仕組みを作ったとき、最初に考えたのは、媒体ごとにまとめて渡すことだった。同じ場所に出したものは互いに関係しているので、まとめて読ませた方が良い説明が出る。

やめた。入らないからである。

代わりに、作品ごとに切った。一本ずつ渡して、一本ずつ書かせる。まとめて読ませた方が良い、という判断は変わっていない。ただ、良い切り方は入らなかった。

似たことが記録の要約でもあった。作業の記録は本来つながっている。昨日の続きを今日やっているのだから、日で切ると話が途切れる。それでも日で切った。日をまたいで持ち越すと、二日でも三日でも積み上がって、いつか必ず溢れるからである。

扱いたい単位と、窓に入る単位は、たいてい一致しない。そして、一致しないときに勝つのは窓の方である。

切ればいいというものでもない。二つ要る。

一つ。切った一つが、それだけで意味を持つこと。作品一本なら、その動画だけ見れば何の話か分かる。一日分の記録も、その日に何をしたかは追える。逆に、文章を三千字ごとに機械的に切ると、切れ目のところで話が途中になり、どちらの断片も読めなくなる。

二つ。切った境界で落ちるものを、こちらが知っていること。日で切れば、前日からの続きは落ちる。作品で切れば、作品どうしの関係は落ちる。落ちること自体は避けられない。避けられるのは、落ちたことに気づかないままでいることの方である。

だから、切り方を決めるときは、何を捨てる切り方なのかも一緒に決めておく。そして、捨てたものが必要な場面が来たら、その回だけ別に渡す。

窓は年々大きくなっている。だったら、いずれ切らなくてよくなるのではないか。

そうはならないと思う。

理由は二つある。一つは、窓が伸ばすほど高くつくからだ。長さが二倍になると、見る組み合わせは四倍になる。入るからといって入れると、遅くなるし高くなる。

もう一つは、入れれば読まれるわけではないことだ。窓の中に十万字あって、答えに要るのがそのうちの二千字だとする。残りの九万八千字は、邪魔にはなっても助けにはならない。人間に頼むときと同じで、関係ない資料を大量に添えれば精度が上がる、ということはない。

窓が大きくなって楽になるのは、切らずに済むようになるからではない。切り方を間違えたときの被害が小さくなるからである。

まとめると、順番はこうなる。

先に、何を一回分とするかを決める。その一回分が窓に収まるか確かめる。収まらないなら、単位をもう一段小さくする。小さくした結果、何が落ちるかを書き出しておく。落ちたものが必要になる場面だけ、例外の渡し方を用意する。

溢れるかどうかは、使っているうちに分かることではなくて、最初に決めていることである。