WAM-Policy 发布快照 c320076b

官方权重

WAM-Policy 将 LingBot-VA 迁移到四足机器人,用语言指令控制移动和左前足操作。作者在 MuJoCo 中评测迁移策略和蒸馏策略,并用宇树 Go2 Air 测试阶段 1.2 OPSD。

查看完整模型说明

运行 QLM-Bench 时,从同一仓库单独检出 qlm-bench 分支,给模拟器建独立的 Python 3.11 或更高版本环境。在 WAM-Policy 环境中安装 QLM-Bench 的 [live] 可选依赖,使用本地 qlm-live-v1 接口连接策略和模拟器。在 configs/site.env 中设置 QLM_BENCH_SRC 和 QLM_PYTHON,分别指向模拟器源码和解释器。

论文与报告 (1)

WAM-Policy:用于四足移动操作的在策略蒸馏世界动作模型

有论文

WAM-Policy: World Action Models with On-Policy Distillation for Quadrupedal Loco-Manipulation

arXiv: 2611.24011DOI: 10.48550/arxiv.2611.24011
作者与单位 (6)

署名方式: 原文顺序

  1. Junlin Long共同贡献

    Australian Centre for Robotics, USYD

  2. Xu Deng共同贡献

    UNSW Sydney

  3. Yiran Wang

    Australian Centre for Robotics, USYD

  4. Yue YangCorresponding author

    Maincode

  5. Yang ZhaoCorresponding author

    La Trobe University

  6. Zeyu ZhangProject lead

    Maincode

首版日期
2026-11-18
论文最新修订
v1 · 2026-11-18
会议 / 期刊
未提供

覆盖的模型版本

如何获取与使用

公开代码资源
公开获取
模型文件
公开获取
训练数据
部分公开

LIBERO 机械臂评测与消融指南

代码许可证

代码与训练/微调

获取方式
公开获取

核验日期 · 2026-11-18

代码许可证
Apache-2.0

训练数据

已确认部分训练数据公开,不代表完整训练集均可下载。

模型文件

模型文件
阶段 1.1 迁移教师

训练数据: 公开获取

获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

这组权重采用 Apache 2.0。QLM-Bench 数据与 RAMBO 权重另按 CC BY-NC 4.0 授权。

阶段 1.2 OPSD 学生 S300 EMA

训练数据: 公开获取

获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

这组权重采用 Apache 2.0。QLM-Bench 数据与 RAMBO 权重另按 CC BY-NC 4.0 授权。

阶段 2.1 推箱专用策略

训练数据: 公开获取

获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

这组权重采用 Apache 2.0。QLM-Bench 数据与 RAMBO 权重另按 CC BY-NC 4.0 授权。

阶段 2.1 开门专用策略

训练数据: 公开获取

获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

这组权重采用 Apache 2.0。QLM-Bench 数据与 RAMBO 权重另按 CC BY-NC 4.0 授权。

阶段 2.2 M-OPD 学生 S300 EMA

训练数据: 公开获取

获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

这组权重采用 Apache 2.0。QLM-Bench 数据与 RAMBO 权重另按 CC BY-NC 4.0 授权。

补充实验 LIBERO OPSD S300 EMA获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

适配器及固定版本的 LIBERO-Long 底模采用 Apache 2.0。

四足消融 · 仅教师缓存 S300 EMA

训练数据: 公开获取

获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

这组权重采用 Apache 2.0。QLM-Bench 数据与 RAMBO 权重另按 CC BY-NC 4.0 授权。

四足消融 · 仅教师缓存 S2000 EMA

训练数据: 公开获取

获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

这组权重采用 Apache 2.0。QLM-Bench 数据与 RAMBO 权重另按 CC BY-NC 4.0 授权。

四足消融 · 仅流式采样 S300 EMA

训练数据: 公开获取

获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

这组权重采用 Apache 2.0。QLM-Bench 数据与 RAMBO 权重另按 CC BY-NC 4.0 授权。

四足消融 · OPSD S900 EMA

训练数据: 公开获取

获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

这组权重采用 Apache 2.0。QLM-Bench 数据与 RAMBO 权重另按 CC BY-NC 4.0 授权。

LIBERO 机械臂消融 · 仅教师缓存 S300 EMA获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

适配器及固定版本的 LIBERO-Long 底模采用 Apache 2.0。

LIBERO 机械臂消融 · 仅流式采样 S300 EMA获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

适配器及固定版本的 LIBERO-Long 底模采用 Apache 2.0。

LIBERO 机械臂消融 · 仅一次采集 S300 EMA获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

适配器及固定版本的 LIBERO-Long 底模采用 Apache 2.0。

LIBERO 机械臂消融 · 仅监督微调 S692 EMA获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

适配器及固定版本的 LIBERO-Long 底模采用 Apache 2.0。

LIBERO 机械臂消融 · 仅教师缓存 S2000 EMA获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

适配器及固定版本的 LIBERO-Long 底模采用 Apache 2.0。

LIBERO 机械臂消融 · OPSD S900 EMA获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

适配器及固定版本的 LIBERO-Long 底模采用 Apache 2.0。

四足消融 · RGB+本体感知 S5000

训练数据: 公开获取

获取方式权重许可证商业使用
按所列条款可商用使用条款

来源核验日期 · 2026-11-20

条件说明

这组权重采用 Apache 2.0。QLM-Bench 数据与 RAMBO 权重另按 CC BY-NC 4.0 授权。

发布信息

来源核验日期 · 2026-11-20

部署前需核对

实机演示由作者报告,使用阶段 1.2 OPSD 学生。阶段 2.2 的汇总成绩来自仿真。机械臂权重用于 LIBERO 实验。真机部署目录 deploy/ 采用 CC BY-NC 4.0。WAM-Policy 主分支其余代码及官方发布的策略权重采用 Apache-2.0。QLM-Bench 模拟器分支代码、QLM-Bench 数据集和随数据集发布的 RAMBO 控制器权重采用 CC BY-NC 4.0。主分支中共享的指令和 live 接口文件按该分支的 Apache-2.0 提供。 四足评测只使用一种四足本体、一套全身控制器和一条操作腿(左前腿)。Standard100 只变换 10 项训练任务的场景,未评估迁移到其他足式机器人,也未评估对未见任务或指令的泛化。阶段 2.1 仅针对推箱和开门两项任务调优。实机策略仅用仿真数据训练,实机表现低于仿真。 v2 计划在原第一视角相机附近安装一台广角鱼眼相机,配合 LiDAR,以替代 v1 的双相机方案。作者目前仅公布了传感器方案,发布日期与权重开放时间待定。 权重或代码可获取,不代表机器人可以即插即用。请按来源文档核对配置、数据与接口要求。

部署与使用资料

推理方式
OPSD 与 M-OPD 学生:视频 1 步、动作 2 步
运行环境与依赖框架
PyTorch

架构与输入输出

模型类型
动作策略
架构
WAM
骨干网络
LingBot-VA
动作生成
流匹配
输入
语言 / RGB 图像
输出
Go2 Air:每段输出 16 条指令,每条 9 维
发布时间
2026年11月18日

适用范围与训练方式

代码许可

Apache-2.0

本体范围

跨本体

实现来源

官方

记录身份

官方权重

输出

动作 / 视频

预测输出

未来视频与动作序列

机器人形态

四足机器人 / 机械臂

任务范围

多任务

训练方式

强化学习 / 监督微调

训练数据

  • QLM-Bench

    微调已开放

    基于 MuJoCo 的四足移动操作评测与数据集,覆盖十项任务。

    800 episodes · CC BY-NC 4.0

评测结果

当前版本或所选权重暂无已核实的独立评测成绩。

发布方评测 · 报告成绩,未经独立复现

QLM-Bench · Standard100 ↗

成功率: 85 %

mujoco-standard-test100-v1; seeds 42, 43, 44

72 回合在 RTX 5070 Ti 工作站运行,VAE 使用 CPU。其余 228 回合在第二台工作站运行,VAE 使用 GPU,并发服务多个客户端。

MuJoCo Standard100,10 项任务共 100 个场景、3 个种子、300 回合。作者报告的总成功率。视频/动作步数 1 / 2。

完整参数与核验说明(模型卡)

仿真与策略权重

QLM-Bench Standard100 在 MuJoCo 中设 10 项任务,每项 10 个留出场景,使用 42、43、44 三个种子,每种策略评测 300 回合,单项任务限时 24–60 秒。基准包含 1,000 条合成示范。阶段 1.1 用其中 800 条微调 LingBot-VA,视频和动作分别采样 25、50 步,成功率为 77.0%。阶段 1.2 OPSD 学生权重为 300 步训练后的 EMA 权重,LoRA 秩为 256,视频和动作分别采样 1、2 步,成功率为 76.7%。阶段 2.1 用强化学习训练推箱(r14)、开门(r04)两组专用教师,LoRA 秩为 32。阶段 2.2 以阶段 1.2 学生初始化,并按任务从专用教师蒸馏。发布的阶段 2.2 M-OPD 学生是再训练 300 步后的 EMA 权重,仿真成功率为 85.0%。两组学生推理时均加载阶段 1.1 教师为底模。LIBERO 机械臂权重用于补充实验。

真机实验

作者将仅用仿真数据训练的阶段 1.2 OPSD 学生部署到宇树 Go2 Air。Go2 Air 自带相机提供第一视角,架在机身上方的 RealSense D435i 提供俯视画面。机身搭载 RDK X5 开发板。策略和 VAE 在经有线以太网连接的 RTX 5070 Ti 工作站运行,RAMBO 全身控制器执行底座和左前足指令。按按钮成功 3/10,踢球进门 1/10,推箱 3/10,合计 7/30。真机上,每个动作块的采样耗时 0.159 秒,包含观测编码的完整闭环耗时 0.66 秒。每块动作仅覆盖 0.32 秒,因此闭环尚未达到实时运行,段间保持上一条指令。

真机部署包

作者为宇树 Go2 提供了 ROS 2 Jazzy 部署包。文档中的主机环境为 Ubuntu 24.04、Python 3.12 和 NVIDIA GPU,使用有线以太网,机器人端配有 Go2 前置相机和连接到 RDK X5 的 RealSense D435i。部署包用 RAMBO 做全身控制,通过 QLM-Bench [live] 的 qlm-live-v1 接口连接策略。ROS 主要依赖 rclpy、rcl_interfaces、unitree_go、unitree_api、geometry_msgs、std_msgs、sensor_msgs,运行时还依赖 launch、launch_ros、ament_index_python。默认使用 Fast DDS,也可使用 Cyclone DDS。默认策略是阶段 1.2 OPSD,推理时以阶段 1.1 教师为底模。论文提供了 Go2 Air 真机结果,Go2 Pro、X、EDU 和其他策略选项的实机结果待核。

见论文第 4–5 节、表 1 与表 7、附录 E、G–H,以及作者的《局限与后续计划》。

提交来源或更正