SANA-Robot-AR RoboTwin 2.0

论文与技术报告

这款世界动作模型有45亿参数,在RoboTwin 2.0仿真中用50项任务的2500条干净场景演示完成后训练。它根据三路相机图像、本体状态和语言指令预测未来画面,并为ALOHA-AgileX双臂生成32步末端控制动作。

查看完整模型说明

论文与技术报告

论文/报告待核实

已收录官方介绍,尚未核实该版本的论文或技术报告。

最近核查: 2026-11-22

如何获取与使用

模型文件
公开获取
训练数据
公开获取

本版本训练代码待核实。公开代码资源不代表已确认包含本版本的训练实现。 查看核验说明

训练 / 微调代码

来源核验日期 · 2026-11-22

训练数据

已确认部分训练数据公开,不代表完整训练集均可下载。

模型文件

模型文件
SANA-Robot-AR RoboTwin 2.0 15k获取方式权重许可证商业使用
按所列条款可商用使用条款

核验日期 · 2026-11-22

发布信息

来源核验日期 · 2026-11-22

部署前需核对

公开成绩覆盖 RoboTwin 2.0(SAPIEN)仿真中的 ALOHA-AgileX。迁移到其他机器人、相机布局、任务或场景需进一步微调。 权重或代码可获取,不代表机器人可以即插即用。请按来源文档核对配置、数据与接口要求。

部署与使用资料

运行环境与依赖框架
PyTorch

架构与输入输出

模型类型
动作策略
架构
WAM · 自回归
骨干网络
混合扩散 Transformer(24 层 Gated DeltaNet 与 8 层 Softmax 注意力)
权重参数量
4500000000
动作生成
扩散
输入
语言 / RGB 图像 / 机器人状态
输出
双臂末端位姿控制,每块 32 步
发布时间
2026年11月22日

适用范围与训练方式

双臂末端位姿控制,每块 32 步

horizon 32

输出

动作 / 视频

预测输出

动作块与未来画面,视频帧步幅为 4

训练数据

评测结果

当前版本或所选权重暂无已核实的独立评测成绩。

完整参数与核验说明(模型卡)

PyTorch 文件把策略参数存于 state_dict,运行需使用随附元数据和归一化文件。训练元数据为 50 Hz。头部相机 384 × 480,两路腕部相机各 192 × 256,采用 T 形布局。需另行获取 Gemma 2 2B IT(须接受 Google 条款)和 Diffusers 布局的 LTX-2.3 视频 VAE。模型卡指向 eval/robotwin 下的策略服务和评测适配,以及微调配置 configs/robotwin_ar.yaml。

提交来源或更正