Lift, See, Act (LSA)

Forschungsimplementierung des LSA-Vortrainings ohne offizielle Versionsnummer. Der Code erlaubt die Reproduktion des Vortrainings.

Vollständige Modellbeschreibung ansehen

Publikationen (1)

Lift, See, Act: Hierarchisches Vortraining von Roboter-Policies mit 3D-Basismodellen

Fachartikel verfügbar

Lift, See, Act: Hierarchical Robot Policy Pretraining with 3D Foundation Models

arXiv: 2611.20481
Autoren und Einrichtungen (5)

Autorenreihenfolge: Originalreihenfolge

  1. Yiyuan Ge

    School of Electronic and Information Engineering, South China University of Technology

  2. Changxing DingCorresponding author

    School of Electronic and Information Engineering, South China University of Technology

  3. Ziyu Hao

    School of Electronic and Information Engineering, South China University of Technology

  4. Zijie Zheng

    School of Electronic and Information Engineering, South China University of Technology

  5. Xiangmin Xu

    School of Electronic and Information Engineering, South China University of Technology

Erstveröffentlichung
2026-11-16
Neueste Revision
v1 · 2026-11-16
Konferenz / Zeitschrift
NeurIPS 2026

Abgedeckte Modellversionen

Zugang und Nutzung

Öffentliche Code-Ressourcen
Öffentlicher Zugang

Code und Training / Fine-Tuning

Zugang
Öffentlicher Zugang

Geprüft am · 2026-11-21

Code-Lizenz
Apache-2.0

Geprüft am · 2026-11-21

Vor der Bereitstellung prüfen

Verfügbare Gewichte oder Code belegen keine sofortige Roboterkompatibilität. Prüfen Sie Konfiguration, Daten und Schnittstellen in der Quelldokumentation.

Unterlagen zu Bereitstellung und Nutzung

Laufzeit und Frameworks
PyTorch

Architektur und Ein-/Ausgaben

Modelltyp
Komponente
Architektur
Transformer
Backbone
ViT-B (ImageNet, LoRA r=8, α=16)
Eingabe
RGB-Bilder / Video
  • Backbone · Eingabemodalitäten · Hauptkategorie · Architektur: LSA authors

Einsatzbereich und Training

Funktionsbereich

Repräsentationslernen

Ausgabe

Repräsentationen

Vorhersageausgabe

3D-Handgelenkbahn der nächsten 3 Frames

Umfang der Trainingsdaten

20.000 Videoclips

Quellen der Trainingsdaten

DexYCB

Training

Vortraining

Abstammung

Destilliert von: Depth Pro ↗

Destilliert von: VGGT-1B ↗

  • Funktionsbereich · Ausgabe · Vorhersageausgabe · Umfang der Trainingsdaten · Training · Abstammung · Depth Pro · Abstammung · VGGT-1B: LSA authors
  • Quellen der Trainingsdaten: LSA authors

Verwandte Roboter

Alle Parameter und Prüfhinweise (Modellkarte)

Depth Pro und VGGT sind Offline-Lehrermodelle für das Vortraining. Der Code zur Merkmalsextraktion und zum Vortraining steht unter Apache-2.0. Öffentliche Downloads der LSA-Policy-Gewichte und einer vollständigen nachgelagerten Policy sind nicht bestätigt.

In der Simulation kamen Sawyer mit Greifer in MetaWorld (8 Aufgaben), xArm6 mit Allegro Hand in DexArt (2) und die Shadow Hand in MuJoCo Adroit (3) zum Einsatz. Pro Seed wurden die drei besten Checkpoints gemittelt, insgesamt über drei Seeds.

Der reale Versuch nutzte einen Franka Research 3 mit sieben Freiheitsgraden, einen Parallelgreifer mit einem Freiheitsgrad und eine fest montierte RealSense D435i für RGB. Pro Aufgabe gab es 30 Demonstrationen und 10 Versuche. Für vier Aufgaben und zwei unbekannte Handtuchfarben wurden im Mittel 68,3 % Erfolg berichtet. Der visuelle Encoder blieb eingefroren, während der Policy-Kopf per Verhaltensklonen trainiert wurde.

Für das Vortraining nutzt die Studie 20.000 bereinigte DexYCB-Videoclips. Die aufbereiteten Daten stehen unter CC BY-NC 4.0. In der MetaWorld-Analyse über vier Aufgaben im Anhang erreichte die vollständige Methode im Mittel 92,2 % Erfolg.

Quelle oder Korrektur einreichen