Kite Trossen Cup Real ACT

Offizielle Gewichte
Fachartikel und technische Berichte

Kite task-trained ACT weights for cup picking on a bimanual WidowX AI station, based on LeRobot ACT; 30,000 training steps, evaluated by the author in simulation only.

Vollständige Modellbeschreibung ansehen

Research and simulation evaluation of red-cup picking on the specified WidowX AI station.

Fachartikel und technische Berichte

Fachartikel / Bericht unbestätigt

Offizielle Informationen sind erfasst; ein versionsspezifischer Fachartikel oder Bericht wurde noch nicht bestätigt.

Zuletzt geprüft: 2026-11-17

Zugang und Nutzung

Öffentliche Code-Ressourcen
Öffentlicher Zugang
Modelldateien
Öffentlicher Zugang
Trainingsdaten
Öffentlicher Zugang

Evaluationsunterlagen

Trainings- / Fine-Tuning-Code

Zugang
Öffentlicher Zugang

QuelleGeprüft am · 2026-11-17

Code-Lizenz
Apache-2.0

Modelldateien

Modelldateien
trossen-bin-picking-act-cup-real · 30000ZugangGewichtelizenz
Veröffentlichungsangaben

QuelleGeprüft am · 2026-11-17

Vor der Bereitstellung prüfen

Single cup task; no language input. Author simulation only, all successes on the left layout, no hardware deployment reported. Exact upstream training revision and action units/frame/frequency remain unverified. Verfügbare Gewichte oder Code belegen keine sofortige Roboterkompatibilität. Prüfen Sie Konfiguration, Daten und Schnittstellen in der Quelldokumentation.

Unterlagen zu Bereitstellung und Nutzung

Inferenzmodus
ACTPolicy.from_pretrained; LeRobot >=0.6; pin commit
Laufzeit und Frameworks
lerobot-pytorch
Anforderungen an die Feinabstimmung
Task training: 30,000 steps, batch 8, one A100, about 1h50m
Bereitstellungsanforderungen
Four RGB cameras and 14 joint positions on bimanual WidowX AI

Architektur und Ein-/Ausgaben

Modelltyp
Aktionspolicy
Architektur
Transformer
Backbone
ResNet18 (ImageNet1K V1), Transformer 512, encoder 4 / decoder 1
Eingabe
RGB-Bilder / Roboterzustand
Ausgabe
14 joint targets; 100-step chunks
Veröffentlichung
16. November 2026

Einsatzbereich und Training

joint_position · continuous

14 DoF · horizon 100 · mean_std

Basismodell

Hugging Face LeRobot ACT

Verkörperungsumfang

Einzelne Verkörperung

Funktionsbereich

Action control

Datensatztyp

Offizielle Gewichte

Ausgabe

Aktionen

Pipeline-Aufgabe

robotics

Vorhersageausgabe

chunk_size=100; n_action_steps=100

Roboterform

Zweiarmplattform / Roboterarm

Aufgabenumfang

Einzelne Aufgabe

Umfang der Trainingsdaten

7,318 training frames

Quellen der Trainingsdaten

Trossen real bin_picking, 18 training cup episodes

Training

Imitationslernen

Abstammung

Abgeleitet von: ACT · LeRobot ACT ↗

  • Basismodell · Verkörperungsumfang · Funktionsbereich · Datensatztyp · Pipeline-Aufgabe · Roboterform · Aufgabenumfang · Umfang der Trainingsdaten · Quellen der Trainingsdaten · Training · joint_position · continuous · Abstammung · LeRobot ACT: Kite ML, Inc.
  • Ausgabe · Vorhersageausgabe · joint_position · continuous: Kite ML, Inc.

Verwandte Roboter

Alle Parameter und Prüfhinweise (Modellkarte)

Kite ML, Inc. publishes this task-trained derivative of Hugging Face LeRobot ACT, not a new foundation algorithm. No fine-tuning from a specific pretrained ACT checkpoint is established. The upstream implementation revision used for training is undisclosed; the model card states LeRobot >=0.6 can load it.

The task is to move the red cup into the clear tray on a bimanual WidowX AI station. Inputs: four RGB cameras (low, high, left wrist, right wrist), each 3×480×640, plus 14 joint positions. Outputs: 14 joint targets per step, chunks of 100 steps; n_obs_steps=1 and n_action_steps=100. It does not consume language instructions.

Configuration: ResNet18 with ImageNet1K V1 backbone weights; Transformer width 512, 8 heads, feedforward width 3200, ReLU, 4 encoder and 1 decoder layers; VAE enabled, latent dimension 32, 4 VAE encoder layers; dropout 0.1, KL weight 10. Visual, state and action normalization use MEAN_STD. Training config has CUDA, no AMP or PEFT, optimizer learning rate 1e-5, weight decay 1e-4 and backbone learning rate 1e-5. These are saved settings, not measured deployment requirements.

Training uses 18 cup episodes from Trossen public real bin_picking recordings, with source episodes 4 and 14 held out, totaling 7,318 training frames. Batch 8 on one A100, 30,000 steps, about 1h50m. Training hardware is not a minimum inference requirement.

Author-reported closed-loop simulated-station placements: room light 10/20, low light 8/20, warm light 8/20, extra objects 7/20, total 33/80 (41.25%). Every placement was on the left-arm pickup layout; none succeeded on the right-arm layout. The low camera combines a real-station photo with cup cut-outs. This is simulation only, not a hardware success rate or an independent reproduction. The website's 91% example is unrelated.

Complete weights first uploaded on 2026-11-16 at 22:39:44 UTC (2026-11-17 06:39:44 Taipei). The initial empty repository at 22:39:02 is not the complete-weight opening event. model.safetensors is 206,765,304 bytes; config and pre/postprocessor normalization files are included. Public, nongated HF download; pin the exact commit below. Model-card metadata declares Apache-2.0, but there is no standalone LICENSE file and config.license is null. This records the publisher's declaration, not a file-by-file legal audit; commercial permission is left unknown. LeRobot's code license is a separate claim. Full-model parameter count, action coordinate frame/units, deployment control frequency and independent/hardware evaluation are not established.

https://huggingface.co/kiteml/trossen-bin-picking-act-cup-real

https://huggingface.co/kiteml/trossen-bin-picking-act-cup-real/commit/1f47a171eb8009c0ba2ef591ba966bb8f88c632e

https://huggingface.co/kiteml/trossen-bin-picking-act-cup-real/blob/1f47a171eb8009c0ba2ef591ba966bb8f88c632e/config.json

https://github.com/kite-ml/trossen-bin-picking-sim-datasets

https://kiteml.com/

Quelle oder Korrektur einreichen