TacInno-VLA

官方版本

TacInno-VLA 基于 π₀.₅ 微调,用图像、指令、本体状态和触觉生成动作。训练用触觉编码学习接触变化,推理直接读取触觉。首版公开六项仿真策略和一套覆盖四个真机任务的策略。

查看完整模型说明

论文与报告 (1)

TacInno:让视觉语言动作模型学习仅凭视觉和动作无法解释的接触动态

有论文

TacInno: Teaching Vision-Language-Action Models the Contact Dynamics Beyond Vision and Action

arXiv: 2611.26405
作者与单位 (8)

署名方式: 原文顺序

  1. Weile Liequal_contribution

    ShanghaiTech University · Institute of AI for Industries (IAII), Chinese Academy of Sciences

  2. Yunfan Louequal_contribution

    Peking University

  3. Muqing Shiequal_contribution

    Washington University in St. Louis

  4. Zihao Zhang

    Institute of AI for Industries (IAII), Chinese Academy of Sciences

  5. Zhenbiao Huang

    Beijing FiveAges Technology

  6. Boxian Yao

    Peking University

  7. Xiyu Zhu

    Peking University

  8. Zhibo Pangcorresponding_author

    Peking University

首版日期
2026-11-20
论文最新修订
v1 · 2026-11-20
会议 / 期刊
arXiv

覆盖的模型版本

如何获取与使用

公开代码资源
公开获取
模型文件
公开获取

UniVTAC 评估条件UniVTAC 仿真结果(表 1)Franka FR3 真机评测结果(表 4)

代码许可证

代码与训练/微调

获取方式
公开获取

来源核验日期 · 2026-11-19

代码许可证
Apache-2.0

来源核验日期 · 2026-11-19

模型文件

模型文件
插入孔获取方式权重许可证
插入管获取方式权重许可证
提起瓶子获取方式权重许可证
提起罐子获取方式权重许可证
拔出钥匙获取方式权重许可证
把瓶子放上架获取方式权重许可证
Franka FR3 四任务获取方式权重许可证
发布信息

来源核验日期 · 2026-11-19

部署前需核对

作者的真机部署文档未注明 Xense 传感器的具体 SKU。 权重或代码可获取,不代表机器人可以即插即用。请按来源文档核对配置、数据与接口要求。

部署与使用资料

推理方式
通过 WebSocket 分段闭环控制
数据格式
仿真训练将 HDF5 回合记录转换为 Zarr
运行环境与依赖框架
PyTorch
微调要求
π₀.₅ 基础权重、机器人示范和触觉编码监督目标
部署要求
Franka FR3、平行夹爪、单个 Xense 视触觉传感器、外部相机及腕部相机

架构与输入输出

模型类型
动作策略
架构
VLA
骨干网络
π₀.₅
动作生成
流匹配
输入
语言 / RGB 图像 / 机器人状态 / 触觉
输出
真机:7 个关节目标偏移量及夹爪开度
发布时间
2026年11月19日

适用范围与训练方式

基础模型

π₀.₅

代码许可

Apache-2.0

实现来源

官方

功能方向

action_control

记录身份

官方版本

输出

动作

预测输出

真机:32 × 8 动作序列

机器人形态

机械臂

任务范围

多任务

训练方式

模仿学习 / 监督微调

谱系

微调自: π₀ · π₀.₅ ↗

评测结果

当前版本或所选权重暂无已核实的独立评测成绩。

完整参数与核验说明(模型卡)

触觉编码器和解码器都以视觉与已执行动作为条件,把剩余的未来触觉变化压缩为 4 个各有 16 个值的 token。训练时,这些编码用于监督编码预测头,另有接触状态预测头。部署时移除 tokenizer 和两个辅助头,动作专家仍读取三帧触觉观测生成的 60 个 token。

作者署名为上海科技大学、中国科学院工业人工智能研究所、北京大学、圣路易斯华盛顿大学和中科第五纪(项目英文署名 Beijing FiveAges Technology)。arXiv 预印本列入 2026 年 11 月 20 日批次。

台北时间 2026 年 11 月 19 日,19:27:30 提交首版代码,21:10:54 创建权重仓,21:13:08–22:09:30 上传文件,22:10:06 更新作者与机构。论文表 1报告 UniVTAC 六项平均成功率 87.5%(每项 100 回合):插孔 95%、插管 95%、提瓶 78%、提罐 88%、拔钥匙 94%、瓶子上架 75%。表 4报告 Franka FR3 真机四项平均 70.5%(每项 50 次):擦板 88%、插插头 38%、扶正易拉罐 74%、拧下瓶盖 82%。结果来自作者在指定实验条件下的评测。

七套策略权重覆盖插入孔、插入管、提起瓶子、提起罐子、拔出钥匙、把瓶子放上架,以及 Franka FR3 的四个真机任务。另有两套主要触觉 tokenizer 和四套消融。Hub 在仓库级标注 Gemma,模型卡注明策略权重适用上游条款。Tokenizer 权重与配置文件的逐文件许可仍待作者确认。官方代码指向 ModelScope 仿真示范,匿名访问尚未核实。

评估指南列出的名义随机种子范围是 1000000–1000099,仿真或规划出错时按指南用后续种子补足。

提交来源或更正