目次
「世界モデルで学習させます」という提案を受けた方へ
ロボット導入の提案書や研究発表で「世界モデルで先を予測しながら動作を学習させる」という説明を見て、それが何を意味し、費用がどこにかかるのかを知りたい方に向けて書いています。
世界モデルを勧める記事でも、疑う記事でもありません。予測はたくさん回すほど良くなるわけではなく、回す場面を選んだ方が安くて成績も良かったという実験結果の話です。
世界モデルの「想像」とは
ロボット学習における世界モデルとは、いまのカメラ映像と、これから取ろうとする動作を入力にして、その動作を実行したら数秒後の映像がどうなるかを予測するモデルです。実際に腕を動かさずに結果を見られるので、この予測を「想像（imagination）」と呼びます。
想像が要る理由は、方針モデル（VLA）を現場向けに鍛える2つの方法に、それぞれ費用がかかるからです。
| 鍛え方 | かかる費用 | 論文が挙げるリスク |
|---|---|---|
| 人の実演を真似させる（模倣学習） | 高品質な実演データを大量に集める費用 | 集めるのが高く、難しい |
| 実機で試行錯誤させる（強化学習） | 実機を長時間動かす時間と摩耗 | 衝突、部品の摩耗、破損 |
| 世界モデルで想像させる | 予測モデルの学習と推論の計算 | 長く予測すると誤差が積み上がる |
3つ目は実機を壊さず、実演も増やさずに済みますが、代わりに計算が要ります。しかも、先を長く予測するほど誤差が積み上がり、学習の手がかりとして信用できなくなります。この論文（WISE: World-model-guided Imagination Scheduling for Efficient Post-training of Vision-Language-Action Models、2026年9月3日公開）が扱うのは、その計算をどこに、どこまで使うかです。
世界モデルという言葉が指すものの広がりは世界モデルとはで、映像の綺麗さ以外の評価軸は世界モデルは映像の綺麗さでは選べませんで整理しました。この記事の世界モデルは、その中の「動作を条件にした映像予測」です。
想像を呼ぶ場面を、物に触れる前後に絞りました
WISEの中心は、想像を「いつ呼ぶか」を決めるスケジューラです。作業の中には、腕を大きく動かして近づくだけの場面と、物をつかむ、差し込む、蓋を開けるといった接触が起きる場面があります。事前学習済みのVLAは前者をすでにこなせることが多く、予測で得るものが大きいのは後者です。
場面を選ぶ仕組み
スケジューラは、いま接触が関係する場面かを判定する小さな分類器です。
- 入力は、手首カメラと固定カメラの映像
- 出力は、接触が関係する場面かどうかの0〜1の点数。しきい値を超えた場面でだけ想像を呼ぶ
- 学習のラベルは、過去の実行記録にあるグリッパーの開閉と把持の状態から自動で作る。人が作業の段階を注釈する必要はない
- 学習後は映像だけで判定し、ロボットの状態信号は使わない
予測の長さに上限を置く仕組み
呼ばれた場面では、方針モデルが複数の候補動作を出し、世界モデルがそれぞれについて数手先までの映像を予測します。ここで予測する長さに上限を置き、上限に達したら打ち切ります。長く予測するほど誤差が積み上がるので、信用できる範囲で止める設計です。
予測を教材ではなく採点に使う仕組み
予測した映像は、別の評価モデルが「作業がどれだけ進んだか」「完了したか」の観点で採点します。同じ候補を2回想像して採点が揃わない場合、その組は学習に使いません。そして、採点が良かった候補の方向へ更新するのは、実際の場面で出した最初の動作だけです。想像で作った映像や動作を、そのまま学習データとして流し込むことはしていません。
呼ぶ回数を8割減らして、成績は上がりました
論文の中で、この記事の主題に当たるのは想像の配分を比べた実験です。シミュレーション環境MimicGenの3作業（積む、通す、片付ける）で、全場面で想像を回す方式、均等間隔、無作為、WISEの4つを比べています。
| 配分の方式 | 平均成功率 | 想像を呼んだ状態の数 | GPU時間 |
|---|---|---|---|
| 全場面で回す | 60.4% | 138 | 11.45時間 |
| 均等間隔 | 61.1% | 28 | 2.90時間 |
| 無作為 | 59.1% | 28 | 2.89時間 |
| WISE（接触の前後） | 68.3% | 28 | 2.61時間 |
全場面で回す方式は、計算を4倍以上使って、成績は低い側にいます。同じ28状態に絞っても、均等や無作為では全場面と変わらず、接触の前後を選んだときだけ7〜9ポイント上がりました。多く予測することと、良い手がかりを得ることは別だ、という結果です。
5作業と2つの方針モデルで
配分以外の主結果も並べておきます。シミュレーションの5作業（積む、コーヒーをセットする、四角い部品を通す、糸を通す、マグを片付ける）の平均成功率です。
| 方針モデル | 元の方針 | 既存の鍛え方で最も高いもの | WISEで鍛えた後 |
|---|---|---|---|
| π0 | 49.7% | 53.8%（DPO） | 59.5% |
| π0.5 | 52.3% | 比較なし | 60.2% |
比較対象のGRPO、DSRL、DPOのいずれより高く、5作業すべてで元の方針を上回っています。方針モデルを替えても同じ方向に効いた、という点が論文の主張です。
実機では、条件を変えたときの差が大きい
Galaxea R1 Liteという実機で、置く、2つ積む、開ける、開けて閉める、の4作業を試しています。矢印の左が元の方針、右がWISEで鍛えた後です。
| 方針モデル | 標準条件の平均成功率 | 配置・照明・物・指示を変えた条件の平均成功率 |
|---|---|---|
| π0 | 60.0% → 77.5% | 42.5% → 68.8% |
| π0.5 | 61.3% → 77.5% | 50.0% → 71.3% |
標準条件で16〜18ポイント、条件を変えると21〜26ポイント上がっており、差が大きいのは条件を変えた側です。学習時と違う高さに物が置かれたときや、取っ手の位置が変わったときに、元の方針は動作を合わせられず、鍛えた後は合わせられた、という観察が添えられています。
提案書で確かめる4つの点
ロボットの提案で「世界モデルで学習させる」と言われたとき、この論文に照らすと、確かめる点は方式の名前ではなく、配分と用途に移ります。
世界モデルを使う提案で聞く4項目
-
予測をどの場面で呼ぶのか。全場面か、接触の前後のような選んだ場面か。選ぶ基準は何か
-
何手先まで予測し、どこで打ち切るのか。上限がなければ、誤差の積み上がりをどう扱うかを聞きます
-
予測した映像を何に使うのか。候補の採点に使うのか、学習データとして流し込むのか。後者なら予測の誤差がそのまま学習に入ります
-
世界モデル自体の学習費用は誰が持つのか。この論文では事前学習にA800を16基で約7日、作業ごとの適応に8基で約10時間かかっています
ロボットメーカーやSIerから学習方式の説明を受ける場で、そのまま確認項目として使えます
4つ目は見落とされがちです。想像を絞ってGPU時間が2.61時間になった話は、世界モデルが出来上がった後の話です。その手前に、大規模データでの事前学習と、作業ごとの適応という別の計算費用があります。無料で配られる世界モデルがあっても動かす設備は別に要る、という話は世界モデルが無料で配られ始めましたで扱いました。
数字の出どころと限界
この記事の数字は、2026年9月3日にarXivで公開された論文の本文と付録に基づきます。読むときの前提は4つです。
- 査読前の原稿で、著者らによる実験結果です。別の機体と作業で再現するかは追試を待つ必要があります
- 実機の成功率は5%刻みで、作業あたりの試行回数は多くありません
- 実演データは要ります。作業ごとに300本（シミュレーション）または100本（実機）の実演で、世界モデルと方針を先に適応させています
- 更新するのは動作を出す部分だけで、方針モデルの本体と世界モデルは凍結したままです。世界モデルの事前学習はDROIDという公開データセットで行われています
方針モデルの側の話はVLA（Vision-Language-Action）とはに、実演データを集める費用は双腕の持ち替えができる前にに、未来を予測させる範囲を広げても良くならなかった別の結果は未来を予測させる範囲はにあります。シミュレーションで学べる作業の条件はシミュレーションで学べるかはを参照してください。