『経験を積むほど賢くなるAI』が、逆に壊れる。自己進化エージェントの落とし穴
結論から言うと、「使えば使うほど賢くなる AI」を素朴に作ると、賢くなるどころか壊れることがある、という研究です。
arXiv に出た「Rethinking Continual Experience Internalization for Self-Evolving LLM Agents」（arXiv:2606.04703、6 月 3 日公開）が報告しています。自己進化型エージェント——使いながら自分の経験を取り込んで成長していくタイプの AI エージェント——を継続的に学習させたとき、何が起きるかを検証したものです。
最近、ChatGPT や Claude のエージェント機能のように、AI に道具を持たせて何手も作業させる使い方が広がっています。そこで自然に出てくる発想が「過去の作業の経験を覚えさせれば、どんどん上手くなるはずだ」というもの。論文はまさにそこに、慎重に水を差しています。
経験を溜め込むほど、能力が積み上がらず崩れていく
問題はここで、過去の経験を繰り返し内面化させると、既存の手法では能力が累積的に伸びていかない、という点です。それどころか崩壊する、と報告されています。
現場目線で言うと、これは少し直感に反します。経験は増やせば増やすほど財産になる、というのが人間の感覚だからです。ただ、新人に「過去の案件のメモを全部いっぺんに頭へ叩き込め」と言ったら、かえって混乱して動けなくなる——そんな様子を思い浮かべると、腑に落ちる部分があります。情報を取り込むこと自体が、必ずしも力にならない。
崩れないための、三つの勘どころ
論文はここで終わらず、どうすれば安定して経験を取り込めるかを、三つの知見として整理しています。
一つ目は、個別の事例をそのまま覚えるより、そこから抜き出した「原理レベル」の経験のほうが頑健だということ。「あの案件ではこうした」ではなく「こういう時はこう考える」に落とすほうが崩れにくい、という話です。二つ目は、経験を一気に全部注ぎ込むより、作業のステップ単位で小分けに入れるほうが、長く道具を使い続ける作業で有効だということ。三つ目は、質の高いお手本の作業記録を、文脈ごと蒸留して取り込むやり方が安定する、という点です。順序を間違えないこと、と言い換えてもいい。
これらを組み合わせて、安定的に経験を内面化させるレシピを提示した、というのが論文の骨子になります。
「使うほど育つ」を、鵜呑みにしない
日本でも、業務に AI エージェントを常駐させて、社内のやり取りや過去の対応を学ばせていこうという動きが出てきています。今回の指摘が効いてくるのはここで、「データを食わせれば勝手に賢くなる」という前提で組むと、ある時点から逆に挙動がおかしくなりかねない、ということです。経験をどう抽象化し、どの単位で、何をお手本に取り込むか——その設計まで含めて初めて「育つエージェント」になる。
リスクは複数あります。プレプリントの段階で、検証されたタスクの範囲も限られているはずなので、どんな現場にもそのまま当てはまるとは言い切れません。それでも、「自己進化」という言葉の威勢の良さに対して、内側では崩壊という現象が起きうると具体的に示した意味は小さくない。動向は追っておきたいところです。
情報元: Rethinking Continual Experience Internalization for Self-Evolving LLM Agents (arXiv:2606.04703)
※この記事の本文は生成AIが執筆しています。事実関係は公式一次情報で確認しています。
