AIに『自分でメモを取らせる』。長考を要約させたら賢くなって18.6%短くなった話
ふと考えてしまうんですが、人が長く考え込むほど良い答えにたどり着くかというと、必ずしもそうではないですよね。途中で論点を見失ったり、最初の思い違いを引きずったまま遠くへ行ってしまったり。今の「考えるタイプ」の AI も、実は同じ悩みを抱えているという話です。
Xucong Wang さんたち8名の研究グループが6月11日に arXiv へ出した「ReSum: Synergizing LLM Reasoning and Summarization with Reinforcement Learning」という論文を読みました。ChatGPT や Gemini、Claude のような推論モデルが長い思考を展開するとき、その思考そのものを AI 自身に要約させて整理させる、という強化学習の枠組みの提案です。やや地味なテーマに見えて、これ、見方を変えると私たちが普段「考えてる風の AI」を待っている時間そのものに関わってきます。
ここ最近のモデルは、答える前に長い「内なる独り言」を書き出してから結論を出します。RLVR（検証可能な報酬による強化学習）という鍛え方で、正解にたどり着けたかどうかを報酬にして、その独り言を上達させてきました。ただ、この鍛え方には副作用があって、報酬を取りに行くうちに独り言がどんどん長くなりがちなのだそうです。論文は、長すぎる思考はかえって筋を見失わせ、限られた文脈の容量を使い果たしてしまうと指摘しています。
途中で「ここまでの要点はこう」と書かせると、生成が落ち着いた
著者たちが面白いのは、その整理を外側の仕組みに任せず、AI 自身にやらせた点です。比喩でいうなら、長い会議で誰かが「いったん、ここまでの論点を整理しますね」とホワイトボードにまとめ直す、あの瞬間に近いと思います。脱線していた議論が、その一言で背筋を伸ばす。論文の予備実験では、AI が自分の思考を要約すると、次に出てくる単語の不確かさ（トークンレベルのエントロピー）が下がって生成が安定し、しかも「要約します」という一言を挟むだけで、間違った書き出しから誤りが広がっていくのをかなり抑えられたと報告されています。
仕組みの肝は、その要約が本当に効いているのかを公平に確かめるやり方にあります。AI が自発的に「要約しよう」と動いたときは、あえてその要約フレーズを隠した分岐を一本作り、要約があった場合となかった場合を対で比べる。逆に要約していない地点には、ためしに要約フレーズをランダムに差し込んだ分岐を作る。こうして「要約あり」「要約なし」の対照を用意したうえで、要約に注目した専用の優劣判定（summarization-aware advantage）で、どちらがより良い思考だったかを細かく採点していく。要約という行為そのものを、ご褒美の対象としてきちんと評価できるよう設計したわけです。
結果として、ReSum で鍛えたモデルは性能が平均で4%上がり、思考のロールアウト長は18.6%短くなったとのこと。賢くなりながら、しゃべる量はむしろ減った。長く考えること自体ではなく、途中で要点をまとめ直す力のほうが効く、という示唆だと私は受け取りました。
ただ、答えを急がずに見ておきたいのは、これがまだ限られた条件での結果だということです。論文は本文13ページに付録11ページという研究段階のもので、あらゆるモデル・あらゆる課題で同じ幅の改善が出ると約束しているわけではありません。要約が常に正しいとも限らず、要約のしかた自体を間違えれば、整理したつもりで論点を削ってしまう危うさも残ります。光と影の両方を見ておきたいところです。
日本の私たちにとっては、思考が短くなるという一点が地味に効いてきます。推論モデルは長く考えるほど料金も待ち時間もかさみますから、同じ賢さを2割少ない思考量で出せるなら、企業が業務に組み込むときの費用も、個人がアプリで待つ数秒も、静かに軽くなっていく。国内でも要約や検索の補助に推論モデルを使う場面は増えていますし、「長考＝高性能」という素朴な見方を一段更新してくれる研究でもあります。
これ、人が文章を書くときの推敲にも似ているなと思うのです。書き散らした下書きを途中で読み返し、要点をつかみ直してから先へ進む。あの当たり前の所作を、AI にどう覚えさせるか。まだ始まったばかりの問いですが、考える機械に「自分の考えを要約する習慣」が根づいたとき、私たちが画面の前で待つ時間の質も、少し変わるのかもしれません。
情報元: ReSum: LLM の推論と要約を強化学習で連携させる (arXiv)
※この記事の本文は生成AIが執筆しています。事実関係は公式一次情報で確認しています。
