
机械臂
SO-101
关联版本 2
Modalix DevKit、支持 SDK 3.0 的 PoLiMa,以及配有俯视和腕部 USB 摄像头的 SO-101 从臂;两路视角须与训练一致。
Kite 基于 LeRobot ACT 训练的杯子拾取策略,使用七套仿真数据、三万训练步数,适配 WidowX AI 双臂工作站。本次补录作者修改评测环境后的报告,权重没有变化,未做实机或独立复现。
查看完整模型说明论文/报告待核实
已收录官方介绍,尚未核实该版本的论文或技术报告。
最近核查: 2026-11-18
来源发布日期: 2026-11-17
| 文件 | 获取方式 | 权重许可证 |
|---|---|---|
| trossen-bin-picking-sim-act-cup-all · 30000 | 获取方式 | 权重许可证 |
来源核验日期 · 2026-11-18
仅作者仿真报告,两个布局;协议变化且有图像域偏差,无实机或独立复现。 权重或代码可获取,不代表机器人可以即插即用。请按来源文档核对配置、数据与接口要求。
joint_position · continuous
14 DoF · horizon 100 · mean_std
Hugging Face LeRobot ACT
单本体
动作控制
官方权重
动作
robotics
chunk_size=100;n_action_steps=100
双臂平台 / 机械臂
单任务
48,069训练帧
七套仿真数据;119个杯子episodes
模仿学习
派生自: ACT · LeRobot ACT ↗
准确制品为 Kite ML, Inc. 发布的 kiteml/trossen-bin-picking-sim-act-cup-all,即 all-seven、30,000 步任务训练策略,派生于 Hugging Face LeRobot ACT。本轮是评测环境和作者报告更新,不是新算法或新权重;未确认从特定预训练 ACT checkpoint 微调,上游训练修订未披露。Trossen Robotics 仅为原始录制数据和机器人平台来源,不是本派生策略开发者。baseline、90k 和 cup-real 制品分别管理。
训练:baseline、dim、very-dim、warm、fluorescent、window、extra-objects 七套仿真数据,各取17个杯子训练 episodes,共119个、48,069帧;batch 8、单A100、30,000步,约78分钟。训练硬件不是最低推理要求。输入为低位、高位、左右腕四路RGB,各3×480×640,另有14维关节位置;输出14维关节目标、100步动作块,n_obs_steps=1、n_action_steps=100。不读取语言指令。对应 WidowX AI 双臂站点,LeRobot >=0.6。
保存配置:ResNet18 / ImageNet1K V1;Transformer维度512、8头、前馈3200、ReLU、编码4层/解码1层;VAE开启、潜维度32、VAE编码4层;dropout 0.1、KL权重10;图像/状态/动作均MEAN_STD;使用CUDA,AMP/PEFT关闭;学习率0.00001、权重衰减0.0001、骨干学习率0.00001。本次这些设置无变化。
新评测协议以实验报告commit f61bcdc1211db23873c28aa785cb4ada8ccccaad标识,时间2026-11-17 23:39:14 UTC(台北11-18 07:39:14);配套模型卡2a30bac7845f0f30b32fd87a73044aced5e3ab57更新时间23:39:05 UTC。原文核验日2026-11-18。Kite在MuJoCo仿真站闭环复跑,留出源episode 4左臂拾取、14右臂拾取两个布局。每条件20次,每布局10次,杯子起点扰动1cm以内。完成须提起至少3cm且最终在托盘内,最长19秒,完整执行100步动作块。
新协议作者报告:室内光2/20、弱光0/20、暖光3/20、额外物体1/20;仅本四条件合计6/80,不作通用成功率。全部6次成功均在左臂布局,右臂布局0/40。弱光30–60%,暖光2700–3500K。腕部相机线缆由固定钩形改为跟随数据集形状和关节;测试图像仍由模拟器自身渲染,低位相机结合真实空站照片与杯子贴图。训练与测试存在图像域偏差,不构成泛化证明。
旧环境历史单列:旧卡e2ccca8fc27cad57d2ac308970a1d023b470c847在固定钩形线缆模拟环境报告室内光2/20、弱光2/20、暖光1/20、额外物体0/20。不得与新协议混算,不能把前后数字直接解读为模型能力涨跌。没有实机测试,本助手未复跑策略;证据状态为作者报告,已对照官方实验说明和逐次结果JSON,不等于独立验证。
完整权重首次上传于2026-11-08 23:04:42 UTC(台北11-09 07:04:42),commit 991c82d5d7e8eff8fd0851c1b98446b3211a4545;不得将11-18当作权重首发。旧新文件树只有README.md改变,model.safetensors均为206,765,304字节,LFS SHA256为51ee9bb19ccea385c3a66e83cd2c63210c38cf410081bedfe387392be73d1833。当前固定树只是该既有checkpoint的资料修订。权重和数据公开可取;模型卡metadata声明Apache-2.0,config.license=null,树内无独立LICENSE。本次只记录发布方声明,未做逐文件法律核验。商业使用权限、全模型参数量、动作坐标/单位和最低推理硬件仍未核实。