Kite Trossen Cup Sim Baseline ACT

官方权重
论文与技术报告

Kite 基于 LeRobot ACT 训练的杯子拾取策略,面向 WidowX AI 双臂站,以四路图像和十四维状态预测动作块。本权重仅用 baseline 仿真数据训练九万步,作者报告评测为仿真结果,尚无实机验证。

查看完整模型说明

用于指定 WidowX AI 双臂站的红杯入托盘研究与仿真评测。

论文与技术报告

论文/报告待核实

已收录官方介绍,尚未核实该版本的论文或技术报告。

最近核查: 2026-11-18

如何获取与使用

模型文件
公开获取
训练数据
公开获取

评测资料

本版本训练代码待核实。公开代码资源不代表已确认包含本版本的训练实现。 查看核验说明

训练 / 微调代码

模型文件

模型文件
trossen-bin-picking-sim-act-cup-baseline-90k · 90000获取方式权重许可证
发布信息

来源核验日期 · 2026-11-18

部署前需核对

仅杯子任务;作者仿真评测,右侧布局无成功,无实机验证。完整训练脚本、动作单位、控制频率、最低显存及逐文件许可范围未核实。 权重或代码可获取,不代表机器人可以即插即用。请按来源文档核对配置、数据与接口要求。

部署与使用资料

推理方式
ACTPolicy.from_pretrained;LeRobot >=0.6;固定revision
运行环境与依赖框架
lerobot-pytorch
微调要求
任务训练:90000步、batch 8、单A100、约4小时
部署要求
四路3×480×640 RGB和14维关节位置;WidowX AI双臂站

架构与输入输出

模型类型
动作策略
架构
Transformer
骨干网络
ResNet18(ImageNet1K V1),Transformer维度512,编码4层/解码1层
输入
RGB 图像 / 机器人状态
输出
14维关节目标;100步动作块
发布时间
2026年11月17日

适用范围与训练方式

基础模型

Hugging Face LeRobot ACT

本体范围

单本体

功能方向

动作控制

记录身份

官方权重

输出

动作

管线任务

robotics

预测输出

chunk_size=100;n_action_steps=100

机器人形态

双臂平台 / 机械臂

任务范围

单任务

训练数据规模

6867训练帧

训练数据来源

Kite仿真baseline,17个训练杯子episodes

训练方式

模仿学习

谱系

派生自: ACT · LeRobot ACT ↗

  • 基础模型 · 本体范围 · 功能方向 · 记录身份 · 输出 · 管线任务 · 机器人形态 · 任务范围 · 训练数据规模 · 训练数据来源 · 训练方式 · 谱系 · LeRobot ACT: Kite ML, Inc.
  • 预测输出: Kite ML, Inc.

关联机器人

完整参数与核验说明(模型卡)

Kite ML, Inc. 发布的任务训练派生策略,上游为 Hugging Face LeRobot ACT,不是新基础算法。Trossen Robotics 是原始数据及机器人来源,不是此派生策略开发者。本条与 baseline 三万步、all-seven 九万步、真实数据三万步权重分开。未确认从某个预训练 ACT checkpoint 微调。

输入为低位、高位、左右腕四路 RGB,各3×480×640,以及14维关节位置;输出14维关节目标,每块100步。n_obs_steps=1,chunk_size=n_action_steps=100,不读取语言指令。配置:ResNet18,ImageNet1K V1;Transformer维度512、8头、前馈3200、ReLU、编码4层/解码1层;VAE潜维32、VAE编码4层、dropout 0.1、KL权重10。视觉/状态/动作使用MEAN_STD归一化。保存设置为CUDA、关闭AMP/PEFT、学习率和骨干学习率1e-5、权重衰减1e-4,不能据此推导最低推理硬件。

训练集 kiteml/trossen-bin-picking-sim-baseline,17个杯子episodes、6867帧;90000步、batch 8、单A100约4小时,均为作者报告。模型卡称LeRobot >=0.6可加载。指定实验仓版本只有README、视频和结果,没有完整训练或rollout脚本;确切上游训练revision与全流程可复现性未核实。上游LeRobot仓只是实现背景,不当成本次完整训练流水线。

作者在MuJoCo模拟站闭环评测:室内光8/20、弱光3/20、暖光5/20、额外物体10/20,合计26/80(32.5%)。留出源episode 4左臂、14右臂两个布局,每条件每布局10次,杯子起点扰动不超过1cm。成功需提起至少3cm且最终位于托盘内,最长19s,执行完整100步动作块。全部成功都在左臂布局,右臂没有成功。测试图由模拟器渲染,低位图包含真实站照片和杯子贴图;腕部相机线缆已从固定钩形改为跟随数据集形状与关节。前后协议改变,旧新结果不能直接解释为模型能力涨跌。没有实机测试、独立复跑或泛化证明。

完整权重开放时间为2026-11-17 23:38:54 UTC,即台北11-18 07:38:54;23:38:31的空仓不算权重发布。仓库public且gated=false,无需申请。model.safetensors为206765304字节;本次已完整下载,SHA256与LFS声明c2e798686cb00f6ff007285ce3f2907e4a92844f8fbf8fde333d7c55226941b8一致,未运行策略。附config、前后处理及归一化文件。ACTPolicy.from_pretrained应固定revision 353a961fb1c17a2f00b95fcbac4994282faf8eeb。

模型卡metadata声明Apache-2.0,但config.license=null且仓库没有独立LICENSE,仅记录作者许可声明,不保证逐文件法律状态,商业使用权限保留未知。动作单位/控制频率、全模型可训练参数量和最低显存仍未核实。

https://huggingface.co/kiteml/trossen-bin-picking-sim-act-cup-baseline-90k/blob/353a961fb1c17a2f00b95fcbac4994282faf8eeb/README.md

https://huggingface.co/kiteml/trossen-bin-picking-sim-act-cup-baseline-90k/blob/353a961fb1c17a2f00b95fcbac4994282faf8eeb/config.json

https://github.com/kite-ml/trossen-bin-picking-sim-datasets/tree/f61bcdc1211db23873c28aa785cb4ada8ccccaad

提交来源或更正