TacInno-VLA

Offizielle Version

TacInno-VLA fine-tunes π₀.₅ for contact-rich robot manipulation. It uses images, instructions, robot state and touch to generate actions. A tactile tokenizer supplies contact-dynamics targets during training. The first release covers six UniVTAC policies and a four-task Franka FR3 policy.

Vollständige Modellbeschreibung ansehen

Publikationen (1)

TacInno: Teaching Vision-Language-Action Models the Contact Dynamics Beyond Vision and Action

Fachartikel verfügbar

arXiv: 2611.26405
Autoren und Einrichtungen (8)

Autorenreihenfolge: Originalreihenfolge

  1. Weile Liequal_contribution

    ShanghaiTech University · Institute of AI for Industries (IAII), Chinese Academy of Sciences

  2. Yunfan Louequal_contribution

    Peking University

  3. Muqing Shiequal_contribution

    Washington University in St. Louis

  4. Zihao Zhang

    Institute of AI for Industries (IAII), Chinese Academy of Sciences

  5. Zhenbiao Huang

    Beijing FiveAges Technology

  6. Boxian Yao

    Peking University

  7. Xiyu Zhu

    Peking University

  8. Zhibo Pangcorresponding_author

    Peking University

Erstveröffentlichung
2026-11-20
Neueste Revision
v1 · 2026-11-20
Konferenz / Zeitschrift
arXiv

Abgedeckte Modellversionen

Zugang und Nutzung

Öffentliche Code-Ressourcen
Öffentlicher Zugang
Modelldateien
Öffentlicher Zugang

UniVTAC evaluation protocolUniVTAC simulation results (Table 1)Franka FR3 real-robot results (Table 4)

Code-Lizenz

Code und Training / Fine-Tuning

Zugang
Öffentlicher Zugang

QuelleGeprüft am · 2026-11-19

Code-Lizenz
Apache-2.0

QuelleGeprüft am · 2026-11-19

Modelldateien

Modelldateien
Insert HoleZugangGewichtelizenz
Insert TubeZugangGewichtelizenz
Lift BottleZugangGewichtelizenz
Lift CanZugangGewichtelizenz
Pull-out KeyZugangGewichtelizenz
Put Bottle in ShelfZugangGewichtelizenz
Franka FR3 Four TasksZugangGewichtelizenz
Veröffentlichungsangaben

QuelleGeprüft am · 2026-11-19

Vor der Bereitstellung prüfen

The sensor’s exact Xense SKU is not specified in the real-robot documentation. Verfügbare Gewichte oder Code belegen keine sofortige Roboterkompatibilität. Prüfen Sie Konfiguration, Daten und Schnittstellen in der Quelldokumentation.

Unterlagen zu Bereitstellung und Nutzung

Inferenzmodus
Closed-loop action chunks over WebSocket
Datenformat
HDF5 episodes converted to Zarr for simulation training
Laufzeit und Frameworks
PyTorch
Anforderungen an die Feinabstimmung
π₀.₅ base weights, robot demonstrations and tactile code targets
Bereitstellungsanforderungen
Franka FR3, parallel gripper, one Xense vision-based tactile sensor, third-person and wrist cameras

Architektur und Ein-/Ausgaben

Modelltyp
Aktionspolicy
Architektur
VLA
Backbone
π₀.₅
Aktionsgenerierung
Flow Matching
Eingabe
Sprache / RGB-Bilder / Roboterzustand / Taktil
Ausgabe
Real robot: 7 joint target offsets and gripper opening
Veröffentlichung
19. November 2026

Einsatzbereich und Training

Basismodell

π₀.₅

Code-Lizenz

Apache-2.0

Implementierungsquelle

Offiziell

Funktionsbereich

action_control

Datensatztyp

Offizielle Version

Ausgabe

Aktionen

Vorhersageausgabe

Real robot: 32 × 8 action chunk

Roboterform

Roboterarm

Aufgabenumfang

Mehrere Aufgaben

Training

Imitationslernen / Überwachtes Fine-Tuning

Abstammung

Feinabgestimmt von: π₀ · π₀.₅ ↗

Evaluationsergebnisse

Keine verifizierten unabhängigen Evaluationen für diese Version oder die ausgewählten Gewichte erfasst.

Alle Parameter und Prüfhinweise (Modellkarte)

The encoder and decoder are conditioned on vision and executed actions. The tokenizer encodes the remaining future tactile change into four 16-value tokens; these supervise a code head alongside a contact-state head during training. At deployment the tokenizer and both auxiliary heads are removed. The action expert still reads 60 tactile tokens from three observations.

The project lists ShanghaiTech University, Institute of AI for Industries (IAII), Chinese Academy of Sciences, Peking University, Washington University in St. Louis, and Beijing FiveAges Technology as author affiliations. The arXiv preprint appeared in the November 20, 2026 batch.

Initial release timeline (Taipei time, November 19, 2026): initial code commit 19:27:30; weight repository 21:10:54; uploads 21:13:08–22:09:30; authors and affiliations updated 22:10:06. In Table 1, the authors report 87.5% across six UniVTAC tasks (100 episodes per task): hole insertion 95%, tube insertion 95%, bottle lift 78%, can lift 88%, key extraction 94%, and bottle shelving 75%. In Table 4, they report a Franka FR3 mean of 70.5% (50 trials per task): board wiping 88%, plug insertion 38%, standing a can upright 74%, and cap removal 82%. These are research results for the tested setup.

Seven downloadable policy checkpoints cover Insert Hole, Insert Tube, Lift Bottle, Lift Can, Pull-out Key, Put Bottle in Shelf, and the four Franka FR3 tasks. Six additional tokenizer packages contain two main checkpoints and four ablations. The Hub declares Gemma at repository level and explicitly applies base-model terms to the policy weights. Separate per-file license text for tokenizer weights and configuration files was not found. The public code documents simulation demonstrations on ModelScope; unauthenticated access could not be confirmed.

The evaluation guide gives the nominal seed range as 1000000–1000099 and specifies using the next seed when the simulator or planner errors.

Quelle oder Korrektur einreichen