LeRobot TOPReward

コミュニティ実装

既製VLMのトークン確率を使うゼロショット報酬ラッパー。

モデルの説明全文を見る

ロボット軌道の評価と報酬推定研究向け。

論文・レポート (1)

TOPReward:ロボットの隠れたゼロショット報酬としてのトークン確率

論文あり

TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics

arXiv: 2602.19313DOI: 10.48550/arxiv.2602.19313
著者・所属 (9)

著者の順序: 原文順

  1. Shirui ChenCorresponding author

    University of Washington · Allen Institute for AI

  2. Cole Harrison

    Amazon

  3. Ying-Chun Lee

    University of Washington

  4. Angela Jin Yang

    University of Washington

  5. Zhongzheng Ren

    University of Washington · Allen Institute for AI · University of North Carolina at Chapel Hill

  6. Lillian J. Ratliff

    University of Washington

  7. Jiafei DuanCo-advising

    University of Washington · Allen Institute for AI

  8. Dieter FoxCo-advising

    University of Washington · Allen Institute for AI

  9. Ranjay KrishnaCo-advising

    University of Washington · Allen Institute for AI

初版公開
2026-02-22
最新の論文改訂
v2 · 2026-07-22
会議・学術誌
未提供

対象モデルバージョン

  • topreward · LeRobot TOPReward

    Original method paper referenced by the LeRobot implementation; not a separate evaluation of every LeRobot integration change.

論文 ↗PDF ↗

取得方法と利用条件

公開コード資料
公開アクセス

学習・ファインチューニングコード

取得方法
対象外

確認日 · 2026-10-26

公開情報

出典確認日 · 2026-10-23

導入前の確認事項

推定報酬は観測・タスク分布に依存し、安全保証として扱えません。 重みやコードの公開は、そのままロボットで動作することを意味しません。必要な構成、データ、インターフェースを資料で確認してください。

導入・利用資料

実行環境とフレームワーク
LeRobot / Transformers
微調整の要件
LeRobot版は凍結Qwen3-VLによるゼロショット推論専用で、報酬モデルを学習しません。

構造と入出力

モデルの種類
報酬・評価
バックボーン
Qwen3-VL-8B-Instruct by default
入力
言語 / RGB画像

適用範囲と学習方法

言語

英語

機能分類

報酬・進捗評価

レコード種別

コミュニティ実装

パイプラインタスク

ロボット報酬モデリング

予測出力

トークン対数確率報酬・任意の二値しきい値

関連ロボット

評価結果

このバージョンまたは選択した重みの検証済み独立評価結果はありません。

公開元の評価 · 報告値・独立再現なし

TOPReward Qwen3-VL-8B 論文参照 · OXE:33選別データセット ↗

VOC: 0.874

TOPReward v2 原論文の Qwen3-VL-8B・直接プロンプト評価です。VOC は[-1,1]の時間的な値の順序順位相関で、ロボット成功率や校正済み完了率ではありません。著者報告の手法参照で、LeRobot 移植の独立再現や別学習重みの評価ではありません。 表1:選別 OXE33データセット、各20エピソードのデータセット平均 VOC。プロジェクトの39データセット0.857は別条件です。

公開元の評価 · 報告値・独立再現なし

TOPReward Qwen3-VL-8B 論文参照 · ManiRewardBench:成功軌道部分集合 ↗

VOC: 0.942

TOPReward v2 原論文の Qwen3-VL-8B・直接プロンプト評価です。VOC は[-1,1]の時間的な値の順序順位相関で、ロボット成功率や校正済み完了率ではありません。著者報告の手法参照で、LeRobot 移植の独立再現や別学習重みの評価ではありません。 表2:4機体・113タスク・497成功評価エピソードの平均です。全体は失敗分割を含む130固有タスク。プロジェクト見出し0.947/0.945や成功判定 AUC ではありません。

全パラメータと検証事項(モデルカード)

原論文: TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics

初回投稿: 2026-02-22 (arXiv:2602.19313v1).

第一著者・連絡著者: Shirui Chen (sc256@uw.edu).

共同指導: Jiafei Duan, Dieter Fox, Ranjay Krishna.

LeRobot統合の保守: Hugging Face. LeRobot.

LeRobot ラッパーは推論専用で、固定 Qwen3-VL のトークン対数確率を使い、タスク別報酬重みは別途学習しません。生の報酬は対数確率で校正済み完了率ではなく、有限しきい値で二値化できます。エピソード内 min/max 正規化は全サンプル軌道を使う非因果的なオフライン処理で、オンライン生報酬と区別します。この移植は Qwen3-VL のみ対応します。元コードは MIT、LeRobot は Apache2、骨格重みは固有条件です。LeRobot 公開日とホスト API は未確認です。

情報源または訂正を送信