先に絵コンテを描いてから動く。ロボの長い手順、成功率37.7%→95.5%の研究
ロボットに「いきなり手を動かさせない」。それだけで成功率が大きく変わった、という研究です。
arXiv に公開された論文「Thinking in Text and Images（テキストと画像で考える）」が、長い手順のロボット操作を扱っています。投稿日は2026年5月1日で、著者は Jinkun Liu さんら9名。提案されている手法は IVLR。タオルをたたむ、棚から物を出して別の場所に置く——こういう「いくつもの動作が続く作業」を、ロボットがうまくこなせるようにする仕組みです。
ロボに先に「絵コンテ」を描かせる
で、気になる中身なんですが、やっていることは案外イメージしやすいんです。IVLR はロボットに、作業を始める前にまず計画を立てさせます。その計画が面白くて、文字で書いた小さな目標（サブゴール）と、場面ごとの絵（視覚キーフレーム）を交互に並べたもの。要するに、漫画のネームや映像の絵コンテに近いんですね。
具体的には、マルチモーダルな Transformer が、最初に見えている景色と「これをして」という指示から、作業全体の段取り（trace と呼んでいます）を一気に生成します。それをいったん覚えておいて、実際に手足を動かす部分（行動デコーダ）が、その絵コンテを見ながら一手ずつ進めていく。人間でも、長い料理を作るときは頭の中で工程を先に並べますよね。あの作業をロボットにやらせている、と思うとしっくりきます。
trace あり・なしで、ここまで差が出る
個人的に刺さったのは数字の出方です。標準的なロボット操作のベンチマーク LIBERO で、IVLR は平均 95.5%。そのなかでも特に手順が長い LIBERO-Long で 92.4% を記録しています。別の評価環境 SimplerEnv-WidowX では、全体成功率 59.4% という数字も出ています。
そして、この絵コンテ（trace）を使わない構成にすると、LIBERO-Long は 37.7% まで落ちる。文字だけの trace では 62.0%、画像だけの trace では 68.4%。文字と画像を交互に使うフル構成で 92.4% です。同じロボット・同じ課題でも、先に段取りを描かせるかどうかで成功率が半分以下になったり、ほぼ満点に届いたりする。長い作業ほど、途中の一手を間違えると全部やり直し。その「積み重なる失敗」を、最初の計画でぐっと減らせている、ということだと思います。
ただ、ここは冷静に見ておきたいところで、LIBERO はシミュレーション寄りの標準テストです。実際の家庭や倉庫の、散らかった棚や予想外の障害物の前で同じ数字が出るかは、この論文だけでは分かりません。
それでも、日本にとっては地味に効く話だと思っています。工場、物流倉庫、介護の現場——どこも人手が足りず、ロボットに期待がかかっているのは「一個の動作」より「段取りのある長い仕事」のほうです。皿を一枚持ち上げるロボより、洗って・拭いて・棚に戻すまでをこなすロボ。その差を埋める鍵が「先に絵コンテを描く」だとしたら、実機での続報をかなり早く見たいです。
