WAM-Policy 公開スナップショット c320076b

公式重み

WAM-PolicyはLingBot-VAを転用し、左前脚をエンドエフェクターとして使う四足ロボットを言語指示で制御する。著者らは異なる機体形態への転移、オンポリシー自己蒸留、複数教師からの蒸留をMuJoCoで評価し、ステージ1.2の生徒モデルをUnitree Go2 Air実機で試験した。

モデルの説明全文を見る

QLM-Benchを実行するには、qlm-benchブランチを別にチェックアウトし、Python 3.11以上のシミュレーター専用環境を用意する。WAM-Policyの環境にQLM-Benchのオプション依存関係[live]を導入し、ローカルのqlm-live-v1プロトコルでポリシーとシミュレーターを接続する。configs/site.envのQLM_BENCH_SRCとQLM_PYTHONにシミュレーターのソースディレクトリとインタープリターを指定する。

論文・レポート (1)

WAM-Policy:オンポリシー蒸留を用いた四足移動操作のための世界行動モデル

論文あり

WAM-Policy: World Action Models with On-Policy Distillation for Quadrupedal Loco-Manipulation

arXiv: 2611.24011DOI: 10.48550/arxiv.2611.24011
著者・所属 (6)

著者の順序: 原文順

  1. Junlin Long同等の貢献

    Australian Centre for Robotics, USYD

  2. Xu Deng同等の貢献

    UNSW Sydney

  3. Yiran Wang

    Australian Centre for Robotics, USYD

  4. Yue YangCorresponding author

    Maincode

  5. Yang ZhaoCorresponding author

    La Trobe University

  6. Zeyu ZhangProject lead

    Maincode

初版公開
2026-11-18
最新の論文改訂
v1 · 2026-11-18
会議・学術誌
未提供

対象モデルバージョン

論文 ↗PDF ↗

取得方法と利用条件

公開コード資料
公開アクセス
モデルファイル
公開アクセス
学習データ
一部公開

LIBEROアーム評価・アブレーションガイド

コードのライセンス

コードと学習・ファインチューニング

取得方法
公開アクセス

確認日 · 2026-11-18

コードのライセンス
Apache-2.0

学習データ

一部の学習データは公開されていますが、学習データ全体の公開を意味しません。

モデルファイル

モデルファイル
ステージ1.1 転移教師

学習データ: 公開アクセス

取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

この重みはApache 2.0。QLM-BenchデータとRAMBOの重みには別途CC BY-NC 4.0が適用される。

ステージ1.2 OPSD生徒 S300 EMA

学習データ: 公開アクセス

取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

この重みはApache 2.0。QLM-BenchデータとRAMBOの重みには別途CC BY-NC 4.0が適用される。

ステージ2.1 箱押し特化

学習データ: 公開アクセス

取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

この重みはApache 2.0。QLM-BenchデータとRAMBOの重みには別途CC BY-NC 4.0が適用される。

ステージ2.1 ドア開け特化

学習データ: 公開アクセス

取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

この重みはApache 2.0。QLM-BenchデータとRAMBOの重みには別途CC BY-NC 4.0が適用される。

ステージ2.2 M-OPD生徒 S300 EMA

学習データ: 公開アクセス

取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

この重みはApache 2.0。QLM-BenchデータとRAMBOの重みには別途CC BY-NC 4.0が適用される。

補足実験 LIBERO OPSD S300 EMA取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

アダプターと固定版LIBERO-LongベースはApache 2.0で公開。

四足アブレーション · 教師キャッシュのみ S300 EMA

学習データ: 公開アクセス

取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

この重みはApache 2.0。QLM-BenchデータとRAMBOの重みには別途CC BY-NC 4.0が適用される。

四足アブレーション · 教師キャッシュのみ S2000 EMA

学習データ: 公開アクセス

取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

この重みはApache 2.0。QLM-BenchデータとRAMBOの重みには別途CC BY-NC 4.0が適用される。

四足アブレーション · ストリーミングのみ S300 EMA

学習データ: 公開アクセス

取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

この重みはApache 2.0。QLM-BenchデータとRAMBOの重みには別途CC BY-NC 4.0が適用される。

四足アブレーション · OPSD S900 EMA

学習データ: 公開アクセス

取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

この重みはApache 2.0。QLM-BenchデータとRAMBOの重みには別途CC BY-NC 4.0が適用される。

LIBERO アーム・アブレーション · 教師キャッシュのみ S300 EMA取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

アダプターと固定版LIBERO-LongベースはApache 2.0で公開。

LIBERO アーム・アブレーション · ストリーミングのみ S300 EMA取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

アダプターと固定版LIBERO-LongベースはApache 2.0で公開。

LIBERO アーム・アブレーション · 単回収集 S300 EMA取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

アダプターと固定版LIBERO-LongベースはApache 2.0で公開。

LIBERO アーム・アブレーション · 教師あり微調整のみ S692 EMA取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

アダプターと固定版LIBERO-LongベースはApache 2.0で公開。

LIBERO アーム・アブレーション · 教師キャッシュのみ S2000 EMA取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

アダプターと固定版LIBERO-LongベースはApache 2.0で公開。

LIBERO アーム・アブレーション · OPSD S900 EMA取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

アダプターと固定版LIBERO-LongベースはApache 2.0で公開。

四足アブレーション · RGB+固有受容感覚 S5000

学習データ: 公開アクセス

取得方法重みのライセンス商用利用
記載条件に基づき可能利用条件

出典確認日 · 2026-11-20

条件の説明

この重みはApache 2.0。QLM-BenchデータとRAMBOの重みには別途CC BY-NC 4.0が適用される。

公開情報

出典確認日 · 2026-11-20

導入前の確認事項

実機実演は著者によるステージ1.2 OPSD生徒モデルの報告。ステージ2.2の集計値はシミュレーション結果であり、アーム用重みはLIBERO実験向け。実機配備用のdeploy/ディレクトリにはCC BY-NC 4.0が適用される。mainブランチの残りのコードおよび公式公開されたポリシーの重みにはApache-2.0が適用される。QLM-Benchのシミュレーターブランチのコード、QLM-Benchデータセット、同データセットで配布されるRAMBOコントローラーの重みにはCC BY-NC 4.0が適用される。mainブランチで共有されるコマンドおよびliveインターフェースのファイルは、同ブランチのApache-2.0に従って提供される。 四足ロボットの評価には、1種類の四足機体、1種類の全身制御器、操作用の左前脚1本を用いた。Standard100では学習済みの10タスクのシーンを変えた。他の脚式ロボットへの転移や、未学習のタスク・指示への汎化は評価していない。ステージ2.1の調整対象は箱押しとドア開けの2タスクに限られる。ポリシーはシミュレーションでのみ学習し、実機の成績はシミュレーションを下回った。 v2では、一人称視点カメラに近い位置に広角魚眼カメラ1台を設置し、LiDARと組み合わせてv1の2台構成を置き換える計画が示された。リリース日と重みの公開日は未発表。 重みやコードの公開は、そのままロボットで動作することを意味しません。必要な構成、データ、インターフェースを資料で確認してください。

導入・利用資料

推論方式
OPSDとM-OPDの生徒:映像1ステップ、動作2ステップ
実行環境とフレームワーク
PyTorch

構造と入出力

モデルの種類
行動方策
アーキテクチャ
WAM
バックボーン
LingBot-VA
行動生成
フローマッチング
入力
言語 / RGB画像
出力
Go2 Air:チャンク当たり16コマンド、各9次元
公開日
2026年11月18日

適用範囲と学習方法

コードのライセンス

Apache-2.0

身体範囲

複数本体

実装元

公式

レコード種別

公式重み

出力

行動 / 動画

予測出力

将来の映像と動作列

ロボット形態

四足ロボット / ロボットアーム

タスク範囲

複数タスク

学習方式

強化学習 / 教師あり微調整

学習データ

  • QLM-Bench

    ファインチューニング公開済み

    MuJoCoを用いた四足移動操作の10タスクのベンチマークとデータセット。

    800 episodes · CC BY-NC 4.0

評価結果

このバージョンまたは選択した重みの検証済み独立評価結果はありません。

公開元の評価 · 報告値・独立再現なし

QLM-Bench · Standard100 ↗

成功率: 85 %

mujoco-standard-test100-v1; seeds 42, 43, 44

72エピソードはRTX 5070 Ti搭載ワークステーションでVAEをCPU実行。残り228エピソードは別のワークステーションでGPU上のVAEを使い、複数クライアントが同時に実行。

MuJoCo Standard100、10タスク100ケース、3シード、300エピソード。著者報告の集計値。映像/動作ステップ 1 / 2。

全パラメータと検証事項(モデルカード)

シミュレーションとポリシーの重み

QLM-Bench Standard100はMuJoCo上で10タスクを評価する。各タスクに未使用の10シーンを用意し、シード42、43、44で各ポリシーを計300エピソード試行する。制限時間はタスクごとに24~60秒。合成デモ1,000件のうち800件でLingBot-VAを微調整したステージ1.1の教師は、映像25ステップ、動作50ステップで成功率77.0%だった。ステージ1.2のOPSD生徒(ランク256のLoRA、300更新後のEMA重み)は映像1、動作2ステップで76.7%だった。ステージ2.1では強化学習で箱押し用(r14)とドア開け用(r04)の教師を個別に学習した(ランク32のLoRA)。ステージ2.2はステージ1.2の生徒から初期化し、タスク別の教師から蒸留する。公開されたM-OPD生徒(さらに300更新したEMA重み)はシミュレーションで85.0%だった。推論時には両生徒ともステージ1.1の教師をベースにする。LIBEROのアーム用重みは補足実験に用いた。

実機試験

著者らはシミュレーションデータのみで学習したステージ1.2のOPSD生徒をUnitree Go2 Airで試した。Go2 Airの内蔵カメラで一人称視点の映像を取得し、胴体の上方に取り付けたRealSense D435iで俯瞰映像を取得した。機体はRDK X5を搭載した。ポリシーとVAEは有線Ethernetで接続したRTX 5070 Ti搭載ワークステーションで動作し、全身制御器RAMBOが胴体と左前脚への指令を実行した。成功回数はボタン押し3/10、ボール蹴り1/10、箱押し3/10で計7/30。実機では、動作チャンク1個のサンプリングに0.159秒、観測の符号化を含む閉ループ全体に0.66秒かかった。各チャンクがカバーする動作は0.32秒分であるため、リアルタイム動作には至らず、チャンク間は最後の指令を保持した。

実機配備パッケージ

著者はUnitree Go2向けにROS 2 Jazzyの配備パッケージを公開している。文書に記載されたホスト環境はUbuntu 24.04、Python 3.12、NVIDIA GPUで、有線Ethernetを使用する。ロボット側にはGo2の前方カメラと、RDK X5に接続したRealSense D435iを搭載する。全身制御にはRAMBO、ポリシー接続にはQLM-Bench [live]のqlm-live-v1を使用する。主なROS依存関係はrclpy、rcl_interfaces、unitree_go、unitree_api、geometry_msgs、std_msgs、sensor_msgsで、実行時にはlaunch、launch_ros、ament_index_pythonも必要となる。既定はFast DDSで、Cyclone DDSも選択できる。既定のステージ1.2 OPSDは推論時にステージ1.1教師モデルをベースとして使う。論文にはGo2 Airでの実機結果が掲載されている。Go2 Pro、X、EDUおよび他のポリシーの実機結果は未確認。

論文の第4~5節、表1・7、付録EおよびG~Hと、著者が追記した「制約と今後の課題」を参照。

情報源または訂正を送信