VLAは画像と言葉と動作を1つのモデルに束ねます
VLA（Vision-Language-Action）は、カメラ画像と言語の指示を入力として、ロボットの動作を直接出力する単一のモデルです。日経クロステックはキーワード解説「VLAモデル」で、VLAを「LLMをベースに、画像とテキストプロンプトからロボットの行動を生成するモデル」と説明しています。そのうえで、ロボットや自動運転への応用が期待される「フィジカルAIの中核技術の1つ」と位置づけています（本文以降は有料会員限定です）。
この考え方が広く知られたのは、2023年のRT-2からです。Google DeepMindが発表したRT-2は、Web規模の画像とテキストで事前学習した視覚言語モデル（VLM）を、そのままロボット制御に組み込む枠組みでした。カメラ画像と「このリンゴを取って」といった指示を受け取り、次に動かすべき腕の位置や向き、グリッパの開閉を出力します。認識する部品と動く部品が別々ではなく、1つのモデルの中でつながっている点が新しさでした。
認識と制御が分かれていたことが汎用化を阻んでいました
従来のロボットは、画像を認識する部分、手順を計画する部分、モーターを制御する部分が別々に作られていました。どれか1つが想定外の状況に出会うと、全体が止まります。決められた工程は正確にこなせても、少し環境が変わると対応できません。これが汎用化を阻む壁でした。
VLAはこの壁を、事前学習の知識を持ち込むことで越えようとします。Web規模で学習したVLMは、ロボットのデータには含まれない意味的・視覚的な知識を持っています。それを制御に転用すれば、ロボットのデータをゼロから大量に集めなくても、未知の指示や初歩的な推論に対応できます。RT-2は、未見の物体や背景でのタスク成功率を、先行のRT-1の32%から62%へ引き上げたと報告しています。基盤モデルの知識が、そのまま動作の汎化に効くという結果でした。
代表モデルの系譜でVLAの広がりが見えます
RT-2の登場後、VLAはオープンソース化と多様化が同時に進みました。代表的なモデルを発表順に並べると、流れが見えます。
| モデル | 発表 | 位置づけ |
|---|---|---|
| RT-2 | 2023年 | 行動を「言語と同じ離散トークン」として出力する起点。未見環境の成功率をRT-1の32%から62%へ改善 |
| OpenVLA | 2024年 | 7Bのオープンソース。970k件の実機デモで学習し、55BのRT-2-Xを成功率で16.5ポイント上回ると報告 |
| Octo | 2024年 | 拡散ポリシー。Open X-Embodimentの80万エピソードで事前学習し、言語だけでなく画像ゴールにも対応 |
| π0 | 2024年 | フローマッチングで連続的な動作を最大50Hzで出力。8種のロボットのデータで学習 |
| GR00T N1 | 2025年 | 解釈役のVLMと動作生成役の拡散Transformerを組み合わせた、ヒューマノイド向けの基盤モデル |
RT-2がクローズドな大規模モデルだったのに対し、OpenVLAとOctoは学習方法やコードを公開し、研究者が手を動かせる土台を作りました。π0とNVIDIAのGR00T N1は、連続した滑らかな動作の生成と、実機・ヒューマノイドへの展開に踏み込んでいます。数年でここまで幅が広がった領域です。
行動の出力方法で大きく2系統に分かれます
VLAの仕組みは、行動の出力方法で大きく2つに分けると理解しやすくなります。
- 離散トークン型（RT-2、OpenVLA）: 動作を「言語トークンと同じ記号の並び」に変換し、文章を書くように1つずつ出力します。VLMの構造をほぼ変えずに使えるのが利点です。
- 拡散・フロー型（Octo、π0、GR00T N1の動作生成部）: 拡散モデルやフローマッチングで、連続的な動きをまとめて生成します。滑らかで速い制御に向きます。
学習データは、人が遠隔操作した実機のデモ、シミュレーションや合成データ、人間の作業動画などを組み合わせます。ただし、VLAが身につけるスキルは、学習データに含まれる動作が上限になります。この制約に対し、Stanfordとプリンストンの研究チームは2026年6月に「InSight」を公開しました。動作を「持ち上げる」「注ぐ」などのプリミティブに分解し、不足するスキルをモデル自身が試行して集める仕組みです。人手のデモなしに対象スキルを学習できたとする主張で、データ収集の負担を減らす方向の研究といえます。
現状はまだ遅く不安定で誇張はできません
期待の一方で、いまのVLAには実務に持ち込む前に知っておくべき限界があります。ここを飛ばすと、判断を誤ります。
- 推論が遅い: VLAの効率に関するサーベイ（arXiv:2510.17111）によると、強力なGPU上でもOpenVLA（7B）は約5Hz、π0（3B）は約10Hz程度です。行動を離散トークンで出力する方式は3〜5Hzにとどまり、高頻度制御に必要な25〜50Hz以上には届きません。高速化手法のFASTを使っても、動作のまとまりごとに約750ミリ秒の遅延が残るとの報告があります。応答が求められる作業ほど、この遅さが効いてきます。
- 学習コストが大きい: 効率化を扱う別のサーベイ（arXiv:2510.24795）の記載では、π0は約1万時間分のロボット動作データ、OpenVLAは64基のGPUで21,500 A100時間を要したとされます。データ収集は人手の遠隔操作に頼るため負担が重く、シミュレーションで補っても、現実とのずれを埋めるsim-to-realは長年の未解決課題です。
- 環境の変化に弱い: 現在のVLAは統制された環境での評価が中心で、照明の変化やカメラの汚れといった実世界の外乱には弱いと報告されています（arXiv:2511.05936）。ロボットごとの違いを越えた真のゼロショット汎化も、まだ達成されていないという指摘もあります。
加えて、VLAは文章ではなく物理的な動作を出力します。誤りが物や人に直接触れる分、安全性の要求はテキスト生成のAIより切実になります。この点はVLA研究でも課題として挙げられています。現時点のVLAは、研究から実用への途上にあると見るのが妥当です。
発注や投資の判断では成熟度を見極めます
フィジカルAIを検討する立場からは、VLAを「もうすぐ何でもできる技術」として扱わないことが第一です。話題の派手さではなく、対象作業に必要な制御周波数、環境の変動、安全要件に照らして、成熟度を見極めます。この見方は、生成AIの導入判断で運用コストや適用範囲を先に決めるのと同じ姿勢です。
VLAは、Transformerと大規模な事前学習を土台にする点で、生成AIと地続きの技術です。私たちは生成AIを開発プロセスに組み込む立場から、同じ基盤モデルの延長にあるVLAの動向を追っています。ロボットそのものの開発を請け負う立場ではありませんが、基盤モデルをどう業務に組み込み、どこまでを人が担うかという設計の考え方は、AIネイティブ開発で扱う論点と共通します。
生成AIをこれから開発や業務に組み込みたい、あるいは基盤モデルの動向を踏まえて投資を判断したい。そうした段階のご相談は、お問い合わせからお聞かせください。