ロボットを動かすのは
モデルの賢さより規約です

ロボット導入の提案で基盤モデルの名前を聞いた方へ

ロボットや自動化設備の提案を受けていて、「最新の基盤モデルを使うので、指示を変えれば別の作業にも対応できます」という説明を聞いた段階の方に向けて書いています。

モデルの名前が嘘だという話ではありません。モデルとロボットの間に何を置くかで、同じモデルの成功率が20回中1回にも20回中20回にもなるという話です。9月9日に公開された研究が、その差を同じ実機で測っています。

何が公開されたのか

ハーネスとは、モデルの外側に置く仕組みの総称です。モデルに何を見せ、何を選ばせ、選んだ結果をどう実行し、その結果をどう返すかを決めます。AIエージェントの回では、同じモデルのままハーネスを変えただけでベンチマークが約3倍になった例を扱いました。今回はそれのロボット版です。

シンガポール国立大学のShow Labは2026年9月9日、Show-Harnessという論文を公開しました。画像と言語を扱う基盤モデル（VLM）にロボットを動かさせるための、モデルの外側の設計です。

仕組みは3段です。

1. VLMは、カメラ画像とロボットの状態を見て、離散の行動単位をひとつ選ぶ。関節の角度や座標は出さない
2. 機体ごとに用意した解釈器が、その単位を実際の動作に変換する。「前へ一歩」なら手先を2cm前へ、のように決定論で変換する
3. 動いた結果の画像が、次の判断のためにモデルへ戻る

モデルが選べる行動単位は、次の表のとおりです。

これだけです。VLAの回で書いた「画像から直接、連続の動作を出す」方式とは反対で、モデルには意味のある単位しか見せません。その代わり、一歩の大きさ、動く向きの基準、作業範囲の上限といった物理側の規約はすべて解釈器が持ちます。

使い方は2つあります。Gemini-3.1 Proのような最上位モデルを学習なしで使うゼロショットと、Qwen3.5-2Bという小型の公開モデルを少量のデモで微調整する方式です。どちらも同じ行動単位を使います。

記号だけでは20回中1回です

この論文で発注側に最も関係があるのは、モデルではなく行動空間の表現を変えた実験です。

Gemini-3.1 Proを固定し、6つの移動単位の見せ方だけを4通りに変えました。

• 意味のある名前と規約。「前へ」という名前と、それが物理的に何を起こすかの説明。これが既定
• 意味のある名前だけ。規約の説明を外す
• 無意味な記号と規約。名前を記号に置き換え、規約の説明は残す
• 無意味な記号だけ。モデルは記号を試し、前後の画像から効果を推定する

結果は、記号でも規約があれば既定とほぼ同じ、名前だけだと使えるが非効率、記号だけだと20回中1回でした。記号だけの条件でモデルが推定した対応の正解率は23.3%です。

成功率を作っているのは規約で、名前はその補助です。基盤モデルが賢いかどうかより、モデルに渡す規約が文書になっているかどうかの方が、結果に効きます。

実機10作業で89%と39%

主結果は、7軸のFranka Research 3と、6軸の腕を2本持つAgileXの2機体で測られています。5種類の物体（積み木・バナナ・テニスボール・ぬいぐるみ・チェスの駒）を皿か碗へ入れる10作業で、各10試行、50ステップで打ち切りです。

比較対象のVLA（π0.5とGR00T）は、Show-Harnessの微調整版と同じデモから学習させた統制比較です。表の学習なしはGemini-3.1 Proのゼロショット、微調整はQwen3.5-2B、VLAはπ0.5です。10作業の平均は各10試行で、微調整版が学習で見ていない物体2種を含みます。環境の変化は背景・照明・視点・妨害物の4条件で各20試行の合算、シミュレーション学習は実機20試行、機体を替える行はFrankaとAgileXで5作業×各10試行の成功数です。

ゼロショットは学習しないので、シミュレーション学習の行は対象外です。GR00Tはπ0.5と同水準（10作業平均35%）でした。

数字の読み方に注意が要ります。卓上の把持と配置で、著者らの実験室で、著者らが測った値です。産業の現場の歩留まりではありません。ただ、同じデモ、同じ実機、同じ作業で比べているので、方式の差としては読めます。

精度が要るなら刻みを変えます

積み木を積む、ペグを穴に挿すという、より細かい作業も試されています。

やったことは、解釈器の一歩を2cmから1cmに変えただけです。モデルも行動単位も再学習も変えていません。ゼロショットは60%から82%へ、微調整版は40%から65%へ上がりました。同じデモで学習したπ0.5は18%で、細かい作業のデータを追加して学習し直して62%です。

回転でも同じことが起きています。人参を0度と45度の向きだけで学習した微調整版が、見たことのない90度で70%成功しました。回転の単位が15度刻みで、繰り返せば届くからです。π0.5は20%でした。

発注側にとっての意味は明確です。扱う部品や精度要求が変わったとき、設定を変えるのか学習し直すのかで、費用の続き方が変わります。実演データを集める工程が毎回必要な設計と、解釈器の数字を書き換える設計では、2年目以降の見積もりが違います。

機体を替えたら差し替えるのは解釈器だけです

Frankaで48/50、AgileXで45/50という数字は、同じゼロショットのモデルを解釈器の差し替えだけで別の機体に載せた結果です。Frankaはインピーダンス制御、AgileXは逆運動学で関節目標を流す、シミュレータは操作空間の命令と、下の制御は機体ごとに違います。モデルから見える行動単位は変わりません。

安全の上限もここにあります。作業範囲や机の高さの制限は解釈器に設定し、それを越える行動は実行前に止めると書かれています。モデルが賢いから安全、ではなく、モデルの外側で止める構造です。

双腕のVLAで手順を組み替えると0%になった回では、学習した組み合わせの外に出られないことが問題でした。今回の方式は、組み合わせをモデルに学習させるのではなく、単位を小さくして組み合わせ自体を不要にしています。

2Bの小さなモデルと、キーボードで集めたデモ

微調整版で使ったのはQwen3.5-2Bです。言語モデル部分にLoRAを当て、更新したパラメータは全体の約3%、学習は数GPU時間と書かれています。実行はRTX 5090が1枚です。

モデルの大きさも試されていて、2Bで十分、大きくすると細かい作業だけが良くなり、1B級は目標の近くで細かく動きすぎて長引くという結果でした。

デモの集め方も、この方式ならではです。行動単位が離散なので、キーボードのキーに割り当てられます。人がキーを押してロボットを動かし、その画像と行動の組がそのまま学習データになります。専用の遠隔操作装置は要りません。実機のデモは合計164エピソード、7,800ステップです。動画でロボットに教える回とは別の方向から、デモの収集を軽くしています。

シミュレーションだけで学習して実機に載せた実験も、同じ理由で成立しています。行動単位が同じなら、シミュレータで集めたデモを実機の解釈器で読めるからです。実データゼロで学習した報告と現場の証言が食い違った回で書いたとおり、この結果も卓上の把持と配置の範囲で読みます。

考える量を増やしても成功率は上がりません

最上位モデルの推論の深さを3段階で変えた実験があります。深くすると減るのは無駄なステップで、成功率はほぼ変わらず、時間は最大3.4倍でした。

応答の98%以上は有効な行動単位で、計画も主な失敗要因ではありません。誤りは細かい把持と配置に集中しています。対象の位置を枠で示す補助を足すと改善します。足りないのは思考ではなく、視覚の接地です。

数字の出どころと限界

この記事の内容は、Show Lab（シンガポール国立大学）が2026年9月9日にarXivへ投稿した論文Show-Harness: Just a VLM Agent Can Play Robots（v1）とプロジェクトページを、2026年9月14日に確認したものに基づきます。10作業の平均89%と86%と39%、シミュレーション学習の13/20と0/20、機体別の48/50・45/50・22/50・19/50は同論文の表2の記載です。環境の変化の100%と94%と50%は、同じ表2の背景・照明・視点・妨害物の4条件（各20試行）の成功数を本記事で合算したもので、論文の平均欄はシミュレーション学習の行を含むため値が異なります。行動空間の4条件と1/20と23.3%は5.4.4節、刻みの変更による60%から82%と40%から65%とπ0.5の18%と62%、回転の70%と20%は5.3.1節、推論の深さと3.4倍と98%は5.4.1節、164エピソードと7,800ステップ、LoRAの約3%、RTX 5090は5.1節の記載です。

評価は平行グリッパーを持つ単腕と双腕の卓上作業に限られ、ヒューマノイドや多指ハンド、触覚や力覚を使う作業は対象外だと論文自身が限界として書いています。数字はすべて著者らの測定で、第三者の再現はまだありません。産業の現場での稼働実績もありません。

エージェントの実行基盤が公開部品になった状況はハーネスのロックインの回に、基盤モデルの公開発表の読み方は公開計画の欄まで読む回に書いています。ロボットと既存の業務システムをつなぐ部分のご相談は、お問い合わせからお送りください。