「デモでは動いていました」の次に聞くこと
ロボットや業務自動化の提案でデモを見せられ、実際の業務で使えるかを判断したい方に向けて書いています。
長時間タスク向けの階層型ロボット基盤モデル τ0-VLA が、実機での成功率を公開しました（τ0-VLA プロジェクトページ）。数字が具体的で、デモと業務の距離がそのまま読み取れます。
評価したのは「12分かかる家事」でした
評価対象は4つのタスクです。部屋の片づけ、食材の下準備、トマトと卵の炒め物、ミルクティーづくり。手順は13〜25ステップ、1回のエピソードは最長12分に及びます。
短いデモとの違いはここです。移動、物探し、開閉のある物体の操作、道具の使用、調理、そしてうまくいかなかったときの復旧まで含まれます。
タスクが数秒から数分に伸びると、難所が変わります。個々の動作の精度も要りますが、成否を分けるのはどこまで終わったかの把握、結果の予測、次の手順の選択になります。何を完了したか覚えていて、次に何をすべきか選び、失敗したら戻る。この能力です。
実行部分は変えずに、成功率が上がりました
同じ研究が示した対比が明快です。低レベルの実行ポリシーは同じまま、上に判断層を置いた場合とそうでない場合を比べています（各タスク10回の実機試行）。
| 方式 | 平均成功率 |
|---|---|
| GR00T N1.7 | 2.5% |
| LingBot-VLA | 0.0% |
| π0.5 | 22.5% |
| τ0-VLA（直接実行） | 27.5% |
| τ0-VLA（階層化・判断層あり） | 45.0% |
直接実行では、すべての動作が「タスク全体の指示」に紐づいたままで、いま自分がどの段階にいるかをポリシー側が推測し続けることになります。階層化すると、直近の観測と実行の記録から区切られた小タスクが選ばれ、それが実行側へ渡ります。
差の27.5ポイントは、動作が上手くなったから出たものではありません。進捗を明示的に追い、次に何をするか決めたぶんです。
判断のために計算を追加する仕組みも効いています。決定が不確かなときだけ、代わりの小タスクを複数提案し、世界モデルで実行後の見た目を予測して比べてから選ぶ。この方式で、未知の配置に対する次手順の的中率は50.0%から74.0%へ上がっています。世界モデルが「頭の中で試す」道具として使われる典型例で、その位置づけは世界モデルとはで整理しました。
それでも半分以上は完了しません
ここからが発注側にとって本題です。最も良い条件でも45.0%。10回動かして4回から5回しか最後まで終わりません。
さらに読み込むと、もっと厳しい数字が出てきます。ミルクティーづくりでは、平均して手順の95.38%まで進みます。それでも完了は10回中7回です。残る失敗はフタの取り付けとストローの挿入、つまり最後の細かい接触作業に集中しています。
ここに、デモと業務の断絶があります。
進捗95%は、業務では0点です。 フタの開いたミルクティーは商品になりません。片づけ途中の部屋は片づいていません。人間の作業なら「あと少し」ですが、無人運転の前提では「失敗」と数えるしかない。部分的な達成が価値に変換されないタスクでは、進捗率ではなく完了率だけが意味を持ちます。
工程の改善が成果に届かない構造は、同じです
この構図はロボットに限りません。
生成AIの導入で、開発工程を50%削減したのにリリース回数が伸びなかった実名事例を工程を50%削ってもリリース回数は伸びませんでしたで扱いました。工程単位の改善率と、価値が届いた時点の数字は別物だという話です。
ロボットの95.38%も同じです。工程の進捗と、業務としての完了は違う単位で、後者だけが発注側の判断材料になります。
成功率を確認する4つの単位
- 完了率で聞く: 「精度95%」ではなく「最後まで終わる割合」。部分達成が価値になるタスクかどうかを先に決めます
- 試行回数を聞く: 10回中4回なのか、100回中40回なのか。デモ1回の成功は成功率ではありません
- タスクの長さを聞く: 数十秒のデモと数分の業務では難所が変わります。実務と同じ手順数で測った数字か確認します
- 失敗の位置を聞く: どの工程で落ちるか分かっていれば、そこだけ人が担当する設計にできます。分からないなら無人化の判断はできません
4つ目に具体的な工程名が返ってくる提案は、実機で回数を重ねています。「安定しています」だけなら、まだ測っていません
4つ目は前向きな使い方です。τ0-VLA の研究でも、失敗がフタとストローに集中していると分かったからこそ「残る課題は最後の接触作業」と特定できています。失敗の位置が分かることは、部分導入の設計図になります。
データ量では埋まりませんでした
もうひとつ、費用の見通しに関わる事実があります。
このモデルの学習には40,115時間の実世界ロボットデータが使われています。そのうえで45.0%です。実機データを大量に積んだ先でこの水準だという事実は、「データを増やせば解決する」という見通しが単純すぎることを示しています。
実機データが高くつく構造はロボット基盤モデルの伸びを決めているのはで扱いました。今回の結果は、量を積んだ先でも判断層の設計で20ポイント近く動くことを示しています。伸びしろがデータ以外の場所にもあるという意味では、悪い知らせではありません。
数字を出した研究は、信頼できます
45.0%という数字は、見出しとしては地味です。しかし同じ低レベルポリシーで比較し、10回ずつ実機で試し、失敗の位置まで公開している研究は、能力の広さだけを訴える発表より実務では役に立ちます。
汎用ロボットAIの側では、あらゆる機体で動くという方向の発表も出ています。その主張を受け取ったときに何を確認すべきかはどんなロボットでも動きますと言われたらで整理しました。適応の速さと、この記事で見た成功率は別の数字です。
自社の業務でどこまで無人化できるか切り分けたい段階でしたら、お問い合わせからご相談ください。人の介入をゼロにできる区間の特定から始めます。