続けるより、始め直す | 荻野舜樹のAI実験室

文章を書く人工知能のことを、大規模言語モデルという。英語で large language model、その頭文字をとって LLM とも書く。オープンAIの GPT、グーグルの Gemini、アンソロピックの Claude が、それにあたる。以下ではモデルと呼ぶ。

モデルは前の話を覚えていない。会話が続いているように見えるのは、毎回それまでの全部を送り直しているからである。

ここから、実際に効く手が一つ出る。長い会話を続けるより、切って始め直す方がいい。

続けると、三つとも悪くなる

一つ、遅くなる。十往復目の呼び出しでは、九往復分をまるごと送っている。返ってくる一言は同じ長さでも、そこに至るまでに読ませている量が違う。

二つ、高くなる。料金は送った量で決まる。同じ質問でも、会話の後半で聞けば前半で聞くより高い。長い会話の後半で急に減りが速くなった、という感覚は錯覚ではない。

三つ、精度が落ちる。窓の中に前半のやりとりが山ほど残っていて、そのほとんどはいまの用件と関係がない。人に頼むときと同じで、関係ない資料を大量に添えると、かえって外す。しかも、途中でこちらが方針を変えていた場合、変える前の話も窓に残っている。古い方針と新しい方針が両方入っている状態で答えさせている。

始め直すとき、そのまま丸ごと持っていくのでは意味がない。要るものだけを持つ。

持っていくのは、だいたいこの三つになる。

決まったこと。何を作るのか、何をやらないと決めたのか。これは最初に決まって、あとはずっと効き続ける。

いまの状態。どこまでできているか。手元にある物の名前と場所。

次にやること。一行でいい。

逆に、持っていかなくていいものがはっきりしている。途中の試行錯誤、うまくいかなかった案、こちらが言い直した分。あれは過程であって、結論に含まれている。

書き出してみると、たいてい紙一枚に収まる。二時間の会話が紙一枚になるのは、圧縮しすぎに見えるかもしれないが、実際に必要なのはそれだけである。

そして、これを書き出す作業には副産物がある。

長い会話の途中では、自分が何を決めたのか、意外と分かっていない。書き出そうとして初めて、決まっていない項目に気づく。持っていく紙が書けないときは、たいてい会話の方が迷子になっている。始め直す前に、そこを片付けることになる。

続けているあいだは、その迷子が見えない。前のやりとりが窓に残っているので、それらしく話が進んでしまうからだ。

モデルの側から「そろそろ切りましょう」とは言ってこない。窓が埋まってきていることも、こちらの方針が途中で変わったことも、向こうからは見えない。

だから、区切るのは人の仕事になる。目安としては、話題が変わったとき、方針を変えたとき、一つ終わったとき。そのたびに紙一枚を書いて、新しく始める。

面倒に見えるが、続けた場合に払う分（遅い、高い、外す）と比べると、たいてい安い。