RDT-1B ist ein Diffusions-Foundation-Model mit 1,2 Milliarden Parametern für beidhändige Manipulation. Separate Bild- und Sprachencoder konditionieren kontinuierliche Aktionssequenzen; ein VLM dient nicht als Backbone. Ein vereinheitlichter Aktionsraum ermöglicht Lernen aus heterogenen Roboterdaten und anschließendes Fine-Tuning.
Eine neuere Version ist verfügbar: RDT2-FM ↗
Zugang und Verfügbarkeit
- Code
- Öffentlicher Zugang
- Modelldateien
- Öffentlicher Zugang
Code und Training / Fine-Tuning
- Zugang
- Öffentlicher Zugang
Geprüft am · 2026-10-27
- Code-Lizenz
- MIT
Modelldateien
| Datei | Zugang | Gewichtelizenz | Kommerzielle Nutzung |
|---|---|---|---|
| robotics-diffusion-transformer/rdt-1b | Zugang |
Erste Schritte
- Laufzeit und Frameworks
- PyTorch / TransformersNVIDIA GPU · bfloat16
Auf einen Blick
- Modelltyp
- Diffusionsbasierte Roboterstrategie (ohne VLM)
- Backbone
- T5-Sprachencoder, SigLIP-Visionsencoder und Diffusions-Transformer
- Gewichteparameter
- 1.2 B
- Eingabe
- Sprachanweisung / RGB-Kamerabilder / Roboterzustand / Propriozeption
- Ausgabe
- Kontinuierliche bimanuale Aktions-Chunks
- Veröffentlichung
- 10. Oktober 2024
Technische Details
Kontinuierliche beidhändige Aktions-Chunks
Sprachen
Englisch
Funktionsbereich
Aktion und Steuerung
Pipeline-Aufgabe
Robotik
Ressourcen
Modellkarte
Publikation: RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation, arXiv:2410.07864, erstmals am 10. Oktober 2024 eingereicht. Die überarbeitete PDF nennt ICLR 2025 als Konferenz. Songming Liu und Lingxuan Wu sind gleichberechtigte Erstautoren; Hang Su und Jun Zhu sind korrespondierende Autoren. Genannte Einrichtungen der Tsinghua-Universität sind Department of Computer Science & Technology, Institute for AI, BNRist Center, Tsinghua-Bosch Joint ML Center und THBI Lab. Der Code liegt bei thu-ml, der GitHub-Organisation der Tsinghua Statistical Artificial Intelligence & Learning Group (TSAIL). [arXiv](https://arxiv.org/abs/2410.07864) · [PDF](https://arxiv.org/pdf/2410.07864) · [TSAIL](https://ml.cs.tsinghua.edu.cn/) · [GitHub](https://github.com/thu-ml)
Vor der Verwendung: Verfügbare Gewichte oder Code belegen keine sofortige Roboterkompatibilität. Prüfen Sie Konfiguration, Daten und Schnittstellen in der Quelldokumentation.