Kite Trossen Cup Real ACT

官方权重
论文与技术报告

Kite 基于 LeRobot ACT 训练的杯子拾取策略,适配 WidowX AI 双臂工作站,使用四路图像和十四维关节状态预测动作块。公开三万步权重,作者仅做仿真评测,未在实机运行。

查看完整模型说明

用于指定 WidowX AI 工作站红杯拾取任务的研究和仿真评测。

论文与技术报告

论文/报告待核实

已收录官方介绍,尚未核实该版本的论文或技术报告。

最近核查: 2026-11-17

如何获取与使用

公开代码资源
公开获取
模型文件
公开获取
训练数据
公开获取

评测资料

训练 / 微调代码

获取方式
公开获取

来源核验日期 · 2026-11-17

代码许可证
Apache-2.0

模型文件

模型文件
trossen-bin-picking-act-cup-real · 30000获取方式权重许可证
发布信息

来源核验日期 · 2026-11-17

部署前需核对

单杯子任务,不读取语言。作者仅仿真评测,成功均限左臂布局,未在实机运行;上游训练修订、动作单位、坐标及控制频率未核实。 权重或代码可获取,不代表机器人可以即插即用。请按来源文档核对配置、数据与接口要求。

部署与使用资料

推理方式
ACTPolicy.from_pretrained;LeRobot >=0.6;固定commit
运行环境与依赖框架
lerobot-pytorch
微调要求
任务训练:30,000步、batch 8、单A100、约1小时50分
部署要求
WidowX AI双臂、四路RGB及14维关节位置

架构与输入输出

模型类型
动作策略
架构
Transformer
骨干网络
ResNet18(ImageNet1K V1),Transformer维度512,编码4层/解码1层
输入
RGB 图像 / 机器人状态
输出
14维关节目标;100步动作块
发布时间
2026年11月16日

适用范围与训练方式

joint_position · continuous

14 DoF · horizon 100 · mean_std

基础模型

Hugging Face LeRobot ACT

本体范围

单本体

功能方向

动作控制

记录身份

官方权重

输出

动作

管线任务

robotics

预测输出

chunk_size=100;n_action_steps=100

机器人形态

双臂平台 / 机械臂

任务范围

单任务

训练数据规模

7,318训练帧

训练数据来源

Trossen真实bin_picking,18个训练杯子episodes

训练方式

模仿学习

谱系

派生自: ACT · LeRobot ACT ↗

  • 基础模型 · 本体范围 · 功能方向 · 记录身份 · 管线任务 · 机器人形态 · 任务范围 · 训练数据规模 · 训练数据来源 · 训练方式 · joint_position · continuous · 谱系 · LeRobot ACT: Kite ML, Inc.
  • 输出 · 预测输出 · joint_position · continuous: Kite ML, Inc.

关联机器人

完整参数与核验说明(模型卡)

Kite ML, Inc. 发布的任务训练制品,派生于 Hugging Face LeRobot ACT,不是新基础算法。未确认从某个预训练 ACT 权重微调;训练使用的上游确切修订未披露。模型卡称 LeRobot >=0.6 可加载。

任务是在 WidowX AI 双臂工作站把红杯放入透明托盘。输入为低位、高位、左腕、右腕四路 RGB,每路 3×480×640,另含十四维关节位置;不读取语言指令。输出每步十四维关节目标,每块一百步;n_obs_steps=1,n_action_steps=100。

保存配置:ResNet18,ImageNet1K V1 骨干预训练权重;Transformer 隐藏维度512、8头、前馈维度3200、ReLU、编码器4层、解码器1层;启用 VAE,潜维度32、VAE编码器4层;dropout=0.1、KL权重10。视觉、状态和动作均用 MEAN_STD 归一化。CUDA、AMP关闭、PEFT关闭,学习率1e-5、权重衰减1e-4、骨干学习率1e-5。这些是训练保存配置,不是实测部署最低要求。

训练使用 Trossen 公开真实 bin_picking 录制中的18个杯子 episodes,源 episodes 4、14留出,共7,318训练帧。batch 8,单A100,30,000步,约1小时50分钟。训练硬件不能充当最低推理硬件。

作者报告的仿真站点闭环放置结果:室内光10/20、弱光8/20、暖光8/20、额外物体7/20,合计33/80(41.25%)。全部成功发生在左臂拾取布局,右臂布局无成功;低位相机使用真实工作站照片与杯子剪影。不是实机成功率,本助手未独立复跑。官网91%示例与本权重无关。

完整权重上传时间为2026-11-16 22:39:44 UTC,即台北11-17 06:39:44;22:39:02的初始空仓不算完整开放。model.safetensors 为206,765,304字节,附config、前后处理及归一化文件。HF公开、非gated,无需访问申请;加载应固定下述commit。模型卡metadata声明Apache-2.0,但仓内无独立LICENSE,config.license=null;仅记录发布方声明,未逐文件做法律核验,商业使用权限保留未知。LeRobot代码许可独立记录。全模型参数量、动作坐标及单位、部署控制频率、独立复跑与实机部署未确认。

https://huggingface.co/kiteml/trossen-bin-picking-act-cup-real

https://huggingface.co/kiteml/trossen-bin-picking-act-cup-real/commit/1f47a171eb8009c0ba2ef591ba966bb8f88c632e

https://huggingface.co/kiteml/trossen-bin-picking-act-cup-real/blob/1f47a171eb8009c0ba2ef591ba966bb8f88c632e/config.json

https://github.com/kite-ml/trossen-bin-picking-sim-datasets

https://kiteml.com/

提交来源或更正