kiteml/trossen-bin-picking-sim-act-cup-all-90k

官方权重
论文与技术报告

Kite 基于 LeRobot ACT 训练的红杯拾取策略,使用七套仿真数据、九万训练步,适配双臂 WidowX AI。输入四路图像与关节状态,输出动作块;本次更新仿真评测口径和作者结果,未更换权重。

查看完整模型说明

用于指定WidowX AI工作站红杯拾取研究及仿真评测。

论文与技术报告

论文/报告待核实

已收录官方介绍,尚未核实该版本的论文或技术报告。

最近核查: 2026-11-18

如何获取与使用

公开代码资源
公开获取
模型文件
公开获取
训练数据
公开获取

训练 / 微调代码

获取方式
公开获取

来源核验日期 · 2026-11-18

模型文件

模型文件
kiteml/trossen-bin-picking-sim-act-cup-all-90k · 90000获取方式权重许可证
发布信息

来源核验日期 · 2026-11-18

部署前需核对

仅作者仿真报告,无实机或独立复跑;前后协议及训练测试图像域存在差异;全部成功限左臂布局。 权重或代码可获取,不代表机器人可以即插即用。请按来源文档核对配置、数据与接口要求。

部署与使用资料

推理方式
ACTPolicy.from_pretrained;LeRobot >=0.6;固定commit
运行环境与依赖框架
lerobot-pytorch
微调要求
90,000训练步;batch 8;单A100;约4小时
部署要求
WidowX AI双臂、四路RGB及14维关节位置

架构与输入输出

模型类型
动作策略
架构
Transformer
骨干网络
ResNet18(ImageNet1K V1),Transformer维度512,编码4层/解码1层
输入
RGB 图像 / 机器人状态
输出
14维关节目标;100步动作块
发布时间
2026年11月13日

适用范围与训练方式

基础模型

Hugging Face LeRobot ACT

本体范围

单本体

功能方向

动作控制

记录身份

官方权重

输出

动作

管线任务

robotics

预测输出

chunk_size=100;n_action_steps=100

机器人形态

双臂平台 / 机械臂

任务范围

单任务

训练数据规模

48,069训练帧

训练数据来源

Kite七套Trossen杯子仿真数据

训练方式

模仿学习

谱系

派生自: ACT · LeRobot ACT ↗

  • 基础模型 · 本体范围 · 功能方向 · 记录身份 · 输出 · 管线任务 · 机器人形态 · 任务范围 · 训练数据规模 · 训练数据来源 · 训练方式 · 谱系 · LeRobot ACT: Kite ML, Inc.
  • 预测输出: Kite ML, Inc.

关联机器人

完整参数与核验说明(模型卡)

Kite ML, Inc. 发布的任务训练制品,派生于 Hugging Face LeRobot ACT,不是新算法;未确认从某个预训练策略微调。Trossen Robotics 是原始数据及机器人来源,不是此派生策略开发者。精确对象 kiteml/trossen-bin-picking-sim-act-cup-all-90k,all-seven 90k,不与 baseline、30k 或 cup-real 合并。

训练:七套仿真数据各17个杯子训练 episodes,共119 episodes、48,069帧;batch 8,单A100,90,000步,约4小时。输入四路RGB(低位、高位、左右腕;每路3×480×640)及14维关节状态,输出14维关节目标、100步动作块。n_obs_steps=1,n_action_steps=100,不读取语言指令;LeRobot >=0.6。配置:ResNet18/ImageNet1K V1,Transformer宽512、8头、前馈3200、编码器4层/解码器1层;VAE潜维32、VAE编码器4层,dropout 0.1、KL权重10、MEAN_STD归一化;CUDA、AMP/PEFT关闭,学习率1e-5、权重衰减1e-4、骨干学习率1e-5。这些是保存的训练设置,不是推理最低要求。

评测协议按报告commit f61bcdc1211db23873c28aa785cb4ada8ccccaad标识,报告时间2026-11-17 23:39:14 UTC(台北11-18 07:39:14);模型卡06191c312dcf4efbe7b5b2c719ae1c066f3718b4时间23:39:06 UTC。Kite在MuJoCo模拟站闭环复跑:源episode4左臂、14右臂两种留出布局;每条件20次,每布局10次,起点扰动1cm以内,同一组起点。完成定义为提起至少3cm并最终在托盘内;最长19s,完整执行100步动作块。腕部相机线缆由旧固定钩形改为跟随数据集曲线及关节。测试图像仍为模拟器渲染,低位相机包含真实站照片和杯子贴图,与训练图像存在域偏差。

当前协议作者报告:室内光2/20、弱光3/20、暖光1/20、额外物体3/20;仅此协议合计9/80。成功全部在episode4左臂布局,episode14右臂0次成功。弱光30–60%,暖光2700–3500K。此为作者报告,未独立复跑、未实机测试,不能证明泛化或部署能力。

历史仅保留旧环境:旧卡73a9aedbda37c2cc236bc2aec29f79bd2806ce3a、固定钩形线缆协议为8/20、3/20、4/20、3/20(18/80)。新旧协议有变化,不混算,不据此声称模型能力涨跌,也不填通用成功率。

权重完整上传于2026-11-13 02:08:45 UTC(台北10:08:45),本次不是权重首发。新旧HF文件树仅README.md改变,model.safetensors为206,765,304字节,LFS SHA-256 dddec821ee28f1dfcad38361a36d4658c6968acca90de2905bb997387516a215,前后相同。checkpoint固定旧权重提交73a9aed;评测资源单独固定新卡与报告提交。HF公开、非gated。模型卡声明Apache-2.0未变化,config.license=null,未升级为逐文件法律核验,商业使用权限保留unknown。全模型参数量、精确上游训练修订、动作单位/坐标及实机控制频率尚未核实。

https://huggingface.co/kiteml/trossen-bin-picking-sim-act-cup-all-90k/blob/06191c312dcf4efbe7b5b2c719ae1c066f3718b4/README.md

https://huggingface.co/kiteml/trossen-bin-picking-sim-act-cup-all-90k/blob/06191c312dcf4efbe7b5b2c719ae1c066f3718b4/config.json

https://github.com/kite-ml/trossen-bin-picking-sim-datasets/blob/f61bcdc1211db23873c28aa785cb4ada8ccccaad/README.md

https://raw.githubusercontent.com/kite-ml/trossen-bin-picking-sim-datasets/f61bcdc1211db23873c28aa785cb4ada8ccccaad/policy/results/summary.json

https://huggingface.co/kiteml/trossen-bin-picking-sim-act-cup-all-90k/blob/73a9aedbda37c2cc236bc2aec29f79bd2806ce3a/README.md

提交来源或更正