LeRobot TOPReward

커뮤니티 구현

범용 VLM의 토큰 확률을 사용하는 제로샷 보상 래퍼입니다.

전체 모델 설명 보기

로봇 궤적의 연구 평가 및 보상 추정에 사용합니다.

논문 및 보고서 (1)

TOPReward: 로봇의 숨은 제로샷 보상으로서의 토큰 확률

논문 있음

TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics

arXiv: 2602.19313DOI: 10.48550/arxiv.2602.19313
저자 및 소속 (9)

저자 순서: 원문 순서

  1. Shirui ChenCorresponding author

    University of Washington · Allen Institute for AI

  2. Cole Harrison

    Amazon

  3. Ying-Chun Lee

    University of Washington

  4. Angela Jin Yang

    University of Washington

  5. Zhongzheng Ren

    University of Washington · Allen Institute for AI · University of North Carolina at Chapel Hill

  6. Lillian J. Ratliff

    University of Washington

  7. Jiafei DuanCo-advising

    University of Washington · Allen Institute for AI

  8. Dieter FoxCo-advising

    University of Washington · Allen Institute for AI

  9. Ranjay KrishnaCo-advising

    University of Washington · Allen Institute for AI

최초 공개
2026-02-22
최신 논문 개정
v2 · 2026-07-22
학회 / 학술지
미제공

관련 모델 버전

  • topreward · LeRobot TOPReward

    Original method paper referenced by the LeRobot implementation; not a separate evaluation of every LeRobot integration change.

논문 ↗PDF ↗

접근 및 사용 방법

공개 코드 자료
공개 접근

학습 / 미세 조정 코드

접근 방법
해당 없음

확인 날짜 · 2026-10-26

출시 정보

출처확인 날짜 · 2026-10-23

배포 전 확인 사항

추정된 보상은 관측 및 작업 분포에 따라 달라지므로 안전을 보장하는 지표로 간주해서는 안 됩니다. 가중치나 코드가 공개되어도 로봇에서 즉시 실행할 수 있다는 의미는 아닙니다. 문서에서 구성, 데이터 및 인터페이스 요구 사항을 확인하세요.

배포 및 사용 자료

실행 환경 및 프레임워크
LeRobot / Transformers
미세 조정 요구 사항
LeRobot 구현은 동결된 Qwen3-VL로 제로샷 추론만 수행하며 보상 모델을 학습하지 않습니다.

구조 및 입출력

모델 유형
보상 및 평가
백본
기본값: Qwen3-VL-8B-Instruct
입력
언어 / RGB 이미지

적용 범위 및 학습 방식

언어

영어

기능 분류

보상 및 진행 평가

기록 유형

커뮤니티 구현

파이프라인 작업

로봇 보상 모델링

예측 출력

토큰 로그 확률 보상·선택적 이진 임곗값

관련 로봇

평가 결과

현재 버전 또는 선택한 가중치의 검증된 독립 평가 결과가 없습니다.

발표 기관 평가 · 보고된 결과 · 독립 재현 안 됨

TOPReward Qwen3-VL-8B 논문 참조 · OXE: 필터링33데이터셋 ↗

VOC: 0.874

TOPReward v2 원 논문의 Qwen3-VL-8B·직접 프롬프트 평가입니다. VOC는[-1,1] 시간 값 순서의 순위 상관으로 로봇 성공률이나 보정 완료율이 아닙니다. 저자 보고 방법 참조이며 LeRobot 포트의 독립 재현이나 별도 학습 가중치의 평가가 아닙니다. 표1: 필터링 OXE33데이터셋·각20에피소드의 데이터셋 평균 VOC. 프로젝트 페이지39데이터셋0.857은 다른 범위입니다.

발표 기관 평가 · 보고된 결과 · 독립 재현 안 됨

TOPReward Qwen3-VL-8B 논문 참조 · ManiRewardBench: 성공 궤적 부분집합 ↗

VOC: 0.942

TOPReward v2 원 논문의 Qwen3-VL-8B·직접 프롬프트 평가입니다. VOC는[-1,1] 시간 값 순서의 순위 상관으로 로봇 성공률이나 보정 완료율이 아닙니다. 저자 보고 방법 참조이며 LeRobot 포트의 독립 재현이나 별도 학습 가중치의 평가가 아닙니다. 표2:4플랫폼·113작업·497성공 평가 에피소드 평균입니다. 전체 벤치마크는 실패 분할을 포함한130고유 작업입니다. 프로젝트0.947/0.945 요약이나 성공 검출 AUC가 아닙니다.

전체 매개변수 및 검증 설명 (모델 카드)

원 논문: TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics

최초 제출: 2026-02-22 (arXiv:2602.19313v1).

제1저자 및 교신저자: Shirui Chen (sc256@uw.edu).

공동 지도: Jiafei Duan, Dieter Fox, Ranjay Krishna.

LeRobot 통합 유지관리: Hugging Face. LeRobot.

LeRobot 래퍼는 추론 전용이며 고정 Qwen3-VL의 토큰 로그 확률을 사용하고 별도 작업별 보상 가중치를 학습하지 않습니다. 원시 보상은 보정된 완료율이 아닌 로그 확률이며 유한 임곗값으로 이진화할 수 있습니다. 에피소드 min/max 진행 정규화는 전체 샘플 궤적을 사용하는 비인과적 오프라인 처리로 온라인 원시 보상과 구분합니다. 이 포트는 Qwen3-VL만 지원합니다. 원본 코드는 MIT, LeRobot는 Apache2이며 백본 가중치는 별도 약관을 따릅니다. 정확한 LeRobot 공개일·호스팅 API는 미확인입니다.

출처 또는 수정 제안 보내기