LeWorldModel · SADL shared-BatchNorm

This LeWorldModel research variant adds SADL to shared batch normalization training. It predicts future latent representations and uses CEM for planning. The one-epoch release includes joint and separate training on PushT, Cube, Reacher, and TwoRoom.

Vollständige Modellbeschreibung ansehen

Visual world modeling and goal-conditioned control in simulation.

Publikationen (1)

SADL: On the Demand-Supply Geometry of Representation Collapse

Fachartikel verfügbar

arXiv: 2611.21596DOI: 10.48550/arxiv.2611.21596
Autoren und Einrichtungen (10)

Autorenreihenfolge: Originalreihenfolge

  1. Junhan Sun

    State Key Laboratory of CAD&CG, Zhejiang University

  2. Yigui Feng

    RoboParty Lab

  3. Mingzhe Liu

    RoboParty Lab

  4. Haoyan Xu

    RoboParty Lab

  5. Lei Ye

    RoboParty Lab

  6. Ziqi Han

    RoboParty Lab

  7. Hanru Bai

    Alibaba Group

  8. Yanzhao Zhang

    Alibaba Group

  9. Hao ZhaoCorresponding author

    RoboParty Lab · Institute for AI Industry Research (AIR), Tsinghua University

Erstveröffentlichung
2026-11-16
Neueste Revision
v1 · 2026-11-16
Konferenz / Zeitschrift
arXiv

Abgedeckte Modellversionen

Zugang und Nutzung

Öffentliche Code-Ressourcen
Öffentlicher Zugang
Modelldateien
Öffentlicher Zugang
Trainingsdaten
Öffentlicher Zugang

Code und Training / Fine-Tuning

Zugang
Öffentlicher Zugang

Geprüft am · 2026-11-22

Code-Lizenz
MIT

Modelldateien

Modelldateien
E1 · Four tasks · seed3072ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · Four tasks · seed3073ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · Four tasks · seed3074ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · Cube · seed3072ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · PushT · seed3072ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · Reacher · seed3072ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · TwoRoom · seed3072ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · Cube · seed3073ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · PushT · seed3073ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · Reacher · seed3073ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · TwoRoom · seed3073ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · Cube · seed3074ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · PushT · seed3074ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · Reacher · seed3074ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

E1 · TwoRoom · seed3074ZugangGewichtelizenzKommerzielle Nutzung
Unter BedingungenBedingungen

QuelleGeprüft am · 2026-11-22

Bedingungen

The author explicitly licenses the released weights under MIT. Keep the copyright and license notices when redistributing the weights. Datasets, simulator assets and runtime dependencies have their own terms.

Veröffentlichungsangaben

QuelleGeprüft am · 2026-11-22

Vor der Bereitstellung prüfen

The released checkpoints are evaluated on four simulation benchmarks. Hardware validation for these weights has not been reported in the release materials. Verfügbare Gewichte oder Code belegen keine sofortige Roboterkompatibilität. Prüfen Sie Konfiguration, Daten und Schnittstellen in der Quelldokumentation.

Unterlagen zu Bereitstellung und Nutzung

Architektur und Ein-/Ausgaben

Modelltyp
Weltsimulation
Architektur
Transformer
Eingabe
Zielbild / RGB-Bilder
Veröffentlichung
19. November 2026
  • Eingabemodalitäten · Hauptkategorie · Architektur: github.com
  • Eingabemodalitäten · Hauptkategorie · Architektur: huggingface.co

Einsatzbereich und Training

Ausgabe

Repräsentationen

Aufgabenumfang

Mehrere Aufgaben

Evaluationsergebnisse

Keine verifizierten unabhängigen Evaluationen für diese Version oder die ausgewählten Gewichte erfasst.

Alle Parameter und Prüfhinweise (Modellkarte)

The ViT-Tiny/14 encoder starts from scratch. Observations are 224 × 224 RGB, with 192-dimensional latents. The joint training batch has 256 windows of 8 frames, 64 per task, and shares running BatchNorm statistics. CEM uses 300 samples per iteration for 30 iterations, the top 30 candidates, and initial standard deviation 1.0. Goals are 25 steps ahead. The action budget is 50, the planning horizon is 5 action blocks, and replanning occurs every 5 actions. Evaluation uses FP32, solver batch size 1, and an RTX 4090. Each training seed (3072–3074) is evaluated with seeds 0, 1, 42 and 100 episodes per evaluation seed per task. Mean ± standard deviation over training seeds: joint 66.33 ± 9.19%, separate 78.58 ± 1.89%. Joint / separate per task: PushT 64.67 ± 18.48 / 83.11 ± 1.58%, Cube 59.56 ± 1.26 / 58.89 ± 1.39%, Reacher 46.67 ± 26.12 / 81.00 ± 4.26%, TwoRoom 94.44 ± 0.96 / 91.33 ± 1.45%. Other paper ablations use distinct training runs.

Quelle oder Korrektur einreichen