LeRobot TOPReward

社区实现

使用现成 VLM token 概率的零样本奖励包装器。

查看完整模型说明

用于机器人轨迹评估和奖励估计研究。

论文与报告 (1)

TOPReward:以 token 概率作为机器人的隐式零样本奖励

有论文

TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics

arXiv: 2602.19313DOI: 10.48550/arxiv.2602.19313
作者与单位 (9)

署名方式: 原文顺序

  1. Shirui ChenCorresponding author

    University of Washington · Allen Institute for AI

  2. Cole Harrison

    Amazon

  3. Ying-Chun Lee

    University of Washington

  4. Angela Jin Yang

    University of Washington

  5. Zhongzheng Ren

    University of Washington · Allen Institute for AI · University of North Carolina at Chapel Hill

  6. Lillian J. Ratliff

    University of Washington

  7. Jiafei DuanCo-advising

    University of Washington · Allen Institute for AI

  8. Dieter FoxCo-advising

    University of Washington · Allen Institute for AI

  9. Ranjay KrishnaCo-advising

    University of Washington · Allen Institute for AI

首版日期
2026-02-22
论文最新修订
v2 · 2026-07-22
会议 / 期刊
未提供

覆盖的模型版本

  • topreward · LeRobot TOPReward

    Original method paper referenced by the LeRobot implementation; not a separate evaluation of every LeRobot integration change.

如何获取与使用

公开代码资源
公开获取

训练 / 微调代码

获取方式
不适用

核验日期 · 2026-10-26

发布信息

来源核验日期 · 2026-10-23

部署前需核对

估计奖励依赖观测与任务分布,不能视为安全保证。 权重或代码可获取,不代表机器人可以即插即用。请按来源文档核对配置、数据与接口要求。

部署与使用资料

运行环境与依赖框架
LeRobot / Transformers
微调要求
LeRobot 实现仅做零样本推理,使用冻结的 Qwen3-VL;无需训练奖励模型。

架构与输入输出

模型类型
奖励评估
骨干网络
Qwen3-VL-8B-Instruct by default
输入
语言 / RGB 图像

适用范围与训练方式

语言

英语

功能方向

奖励与进度评估

记录身份

社区实现

管线任务

机器人奖励建模

预测输出

Token 对数概率奖励;可选二值阈值

关联机器人

评测结果

当前版本或所选权重暂无已核实的独立评测成绩。

发布方评测 · 报告成绩,未经独立复现

TOPReward Qwen3-VL-8B 论文参考 · OXE:33个筛选数据集 ↗

VOC: 0.874

TOPReward v2 原方法论文使用 Qwen3-VL-8B 与直接提示评分。VOC 是[-1,1]区间的时间价值顺序秩相关,不是机器人任务成功率或校准完成度。记录作者报告的方法参考,不声称独立复现 LeRobot 移植或独立训练的奖励权重。 表1:33个筛选 OXE 数据集,每集20条轨迹,按数据集均值汇总 VOC。项目页39数据集的0.857是不同的公开口径。

发布方评测 · 报告成绩,未经独立复现

TOPReward Qwen3-VL-8B 论文参考 · ManiRewardBench:成功轨迹子集 ↗

VOC: 0.942

TOPReward v2 原方法论文使用 Qwen3-VL-8B 与直接提示评分。VOC 是[-1,1]区间的时间价值顺序秩相关,不是机器人任务成功率或校准完成度。记录作者报告的方法参考,不声称独立复现 LeRobot 移植或独立训练的奖励权重。 表2:四个平台、113项任务的497条成功评测轨迹平均指标。完整基准含失败划分、共130个唯一任务。不是项目页0.947/0.945摘要,也不是成功检测 AUC。

完整参数与核验说明(模型卡)

原始论文: TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics

首次提交: 2026-02-22 (arXiv:2602.19313v1).

第一作者兼通讯作者: Shirui Chen (sc256@uw.edu).

共同指导: Jiafei Duan, Dieter Fox, Ranjay Krishna.

LeRobot 集成维护方: Hugging Face. LeRobot.

LeRobot 封装仅推理:冻结 Qwen3-VL 提供 token 对数概率,无单独按任务训练的奖励权重。原始奖励是对数概率,不是校准后的完成百分比;设置有限阈值可返回二值结果。逐轨迹最小/最大归一化进度使用完整采样轨迹,属于非因果离线处理,区别于在线原始奖励。此移植版仅支持 Qwen3-VL。原始代码 MIT、LeRobot 代码 Apache2,骨干权重保留各自条款。确切 LeRobot 发布日与托管 API 尚未核实。

提交来源或更正