TacInno-VLA

公式バージョン

TacInno-VLAはπ₀.₅を微調整した接触操作向けモデルです。画像、指示、ロボットの状態、触覚から行動を生成します。学習時には触覚変化を符号化した教師信号を使います。UniVTACの6方策とFranka FR3の4タスク用方策が公開されています。

モデルの説明全文を見る

論文・レポート (1)

TacInno:視覚と動作だけでは説明できない接触ダイナミクスを視覚言語行動モデルに学習させる

論文あり

TacInno: Teaching Vision-Language-Action Models the Contact Dynamics Beyond Vision and Action

arXiv: 2611.26405
著者・所属 (8)

著者の順序: 原文順

  1. Weile Liequal_contribution

    ShanghaiTech University · Institute of AI for Industries (IAII), Chinese Academy of Sciences

  2. Yunfan Louequal_contribution

    Peking University

  3. Muqing Shiequal_contribution

    Washington University in St. Louis

  4. Zihao Zhang

    Institute of AI for Industries (IAII), Chinese Academy of Sciences

  5. Zhenbiao Huang

    Beijing FiveAges Technology

  6. Boxian Yao

    Peking University

  7. Xiyu Zhu

    Peking University

  8. Zhibo Pangcorresponding_author

    Peking University

初版公開
2026-11-20
最新の論文改訂
v1 · 2026-11-20
会議・学術誌
arXiv

対象モデルバージョン

論文 ↗PDF ↗

取得方法と利用条件

公開コード資料
公開アクセス
モデルファイル
公開アクセス

UniVTAC評価手順UniVTACシミュレーション結果(表1)Franka FR3の実機評価結果(表4)

コードのライセンス

コードと学習・ファインチューニング

取得方法
公開アクセス

出典確認日 · 2026-11-19

コードのライセンス
Apache-2.0

出典確認日 · 2026-11-19

モデルファイル

モデルファイル
穴への挿入取得方法重みのライセンス
チューブ挿入取得方法重みのライセンス
ボトル持ち上げ取得方法重みのライセンス
缶の持ち上げ取得方法重みのライセンス
鍵の引き抜き取得方法重みのライセンス
棚へのボトル収納取得方法重みのライセンス
Franka FR3の4タスク取得方法重みのライセンス
公開情報

出典確認日 · 2026-11-19

導入前の確認事項

実機運用資料にはXenseセンサーの型番が記載されていません。 重みやコードの公開は、そのままロボットで動作することを意味しません。必要な構成、データ、インターフェースを資料で確認してください。

導入・利用資料

推論方式
WebSocket経由の閉ループ分割行動
データ形式
シミュレーション学習ではHDF5エピソードをZarrに変換
実行環境とフレームワーク
PyTorch
微調整の要件
π₀.₅のベース重み、ロボットのデモデータ、触覚コードの教師信号
デプロイ要件
Franka FR3、平行グリッパー、Xense視覚式触覚センサー1基、外部カメラと手首カメラ

構造と入出力

モデルの種類
行動方策
アーキテクチャ
VLA
バックボーン
π₀.₅
行動生成
フローマッチング
入力
言語 / RGB画像 / ロボット状態 / 触覚
出力
実機:7関節の目標オフセットとグリッパー開度
公開日
2026年11月19日

適用範囲と学習方法

ベースモデル

π₀.₅

コードのライセンス

Apache-2.0

実装元

公式

機能分類

action_control

レコード種別

公式バージョン

出力

行動

予測出力

実機:32 × 8の行動チャンク

ロボット形態

ロボットアーム

タスク範囲

複数タスク

学習方式

模倣学習 / 教師あり微調整

系譜

微調整元: π₀ · π₀.₅ ↗

評価結果

このバージョンまたは選択した重みの検証済み独立評価結果はありません。

全パラメータと検証事項(モデルカード)

エンコーダーとデコーダーは視覚観測と実行済み行動を条件とし、残る将来の触覚変化を16値ずつの4トークンに圧縮します。学習時には触覚コードと接触状態の補助ヘッドを使用します。運用時はトークナイザーと両補助ヘッドを外し、行動エキスパートが触覚3フレーム由来の60トークンを読み取ります。

著者所属は上海科技大学、中国科学院工業人工知能研究所、北京大学、セントルイス・ワシントン大学、Beijing FiveAges Technologyです。arXivのプレプリントは2026年11月20日の公開分に掲載されました。

台北時間2026年11月19日、19:27:30にコードを初回コミット、21:10:54に重みリポジトリを作成、21:13:08〜22:09:30にファイルをアップロードし、22:10:06に著者と所属を更新しました。論文の表1では、UniVTACの6タスクの平均成功率は87.5%(各100試行)です。穴への挿入95%、チューブ挿入95%、ボトルの持ち上げ78%、缶の持ち上げ88%、鍵の引き抜き94%、ボトルの棚入れ75%でした。表4では、Franka FR3の実機4タスクの平均は70.5%(各50試行)です。板の拭き取り88%、プラグ挿入38%、缶を立てる74%、キャップ外し82%でした。数値は指定された実験条件での著者報告です。

公開方策は、穴への挿入、チューブ挿入、ボトルと缶の持ち上げ、鍵の引き抜き、棚へのボトル収納、およびFranka FR3の実機4タスクを対象とします。触覚トークナイザーは主要2種類とアブレーション4種類です。HubのリポジトリにはGemmaの表示があり、方策の重みにはベースモデルの利用規約が適用されます。トークナイザーの重みと設定ファイルの個別ライセンス、およびModelScopeのシミュレーション用データへの匿名アクセスは未確認です。

評価ガイドが示す標準シード範囲は1000000〜1000099で、シミュレーターやプランナーのエラー時は次のシードを使用します。

情報源または訂正を送信