Fast-JEPA

Fast-JEPA 是面向视觉目标的潜空间世界模型规划方法。它从当前观测和目标图像生成参考动作计划,再直接预测完整候选序列的终态,以减少在线比较开销。作者在四项仿真任务中报告平均成功率为 96.50%。

查看完整模型说明

用于仿真中的低延迟视觉目标动作序列规划。

论文与报告 (1)

Fast-JEPA:推进潜空间世界模型的成功率与延迟边界

有论文

Fast-JEPA: Advancing the Success–Latency Frontier for Latent World Models

arXiv: 2611.25927
作者与单位 (7)

署名方式: 原文顺序

  1. Yao Zhang

    Wuhan University · Zhongguancun Academy · DeepCybo

  2. Bin Yu

    Harbin Institute of Technology · Zhongguancun Academy

  3. Shijie Lian

    Huazhong University of Science and Technology · Zhongguancun Academy

  4. Haishan Liu

    Nanjing University · Zhongguancun Academy

  5. Changti Wu

    East China Normal University · Zhongguancun Academy

  6. Yu Wucorresponding_author

    Wuhan University

  7. Kai Chencorresponding_author

    Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence · DeepCybo

首版日期
2026-11-20
论文最新修订
v1
会议 / 期刊
未提供

覆盖的模型版本

如何获取与使用

训练 / 微调代码

获取方式
未公开提供

来源核验日期 · 2026-11-22

发布信息

来源核验日期 · 2026-11-22

部署前需核对

论文结果来自仿真。作者尚未开放实现代码、模型权重和 DynaGoal 评测文件。 权重或代码可获取,不代表机器人可以即插即用。请按来源文档核对配置、数据与接口要求。

架构与输入输出

模型类型
世界模拟
架构
Transformer
骨干网络
ViT-Tiny 图像编码器
输入
目标图像 / RGB 图像

适用范围与训练方式

功能方向

任务规划 / 世界状态预测

输出

动作 / 推理与计划

预测输出

192 维潜状态

训练方式

模仿学习

评测结果

当前版本或所选权重暂无已核实的独立评测成绩。

发布方评测 · 报告成绩,未经独立复现

原始四任务仿真 · 原始四任务仿真 ↗

平均成功率: 96.5 %

NVIDIA RTX PRO 6000 Blackwell Server Edition

每项 100 个回合,3 个独立训练模型。预热后以批量大小 1 计完整规划耗时。

Fast-JEPA · 原始四任务仿真 · PushT / Reacher / Cube / TwoRoom

发布方评测 · 报告成绩,未经独立复现

原始四任务仿真 · 原始四任务仿真 ↗

平均完整规划延迟: 10.88 ms

NVIDIA RTX PRO 6000 Blackwell Server Edition

每项 100 个回合,3 个独立训练模型。预热后以批量大小 1 计完整规划耗时。

Fast-JEPA · 原始四任务仿真 · PushT / Reacher / Cube / TwoRoom

发布方评测 · 报告成绩,未经独立复现

DynaGoal · 条件变化 ↗

平均成功率: 73.83 %

NVIDIA RTX PRO 6000 Blackwell Server Edition

每种条件 100 组案例,复用 3 个原任务模型。实测规划延迟决定新计划在仿真时间步中何时可用。

Fast-JEPA · 条件变化 · PushT / Reacher / Cube / TwoRoom

发布方评测 · 报告成绩,未经独立复现

DynaGoal · 条件变化 ↗

平均完整规划延迟: 13.42 ms

NVIDIA RTX PRO 6000 Blackwell Server Edition

每种条件 100 组案例,复用 3 个原任务模型。实测规划延迟决定新计划在仿真时间步中何时可用。

Fast-JEPA · 条件变化 · PushT / Reacher / Cube / TwoRoom

发布方评测 · 报告成绩,未经独立复现

DynaGoal · 执行时限 ↗

平均成功率: 87.67 %

NVIDIA RTX PRO 6000 Blackwell Server Edition

每种条件 100 组案例,复用 3 个原任务模型。时限同时计算实际规划和动作执行耗时。

Fast-JEPA · 执行时限 · PushT / Reacher / Cube / TwoRoom

发布方评测 · 报告成绩,未经独立复现

DynaGoal · 执行时限 ↗

平均完整规划延迟: 13.75 ms

NVIDIA RTX PRO 6000 Blackwell Server Edition

每种条件 100 组案例,复用 3 个原任务模型。时限同时计算实际规划和动作执行耗时。

Fast-JEPA · 执行时限 · PushT / Reacher / Cube / TwoRoom

完整参数与核验说明(模型卡)

规划器先利用中间结果预测生成参考动作序列,再用交叉熵法(CEM)细化候选方案,按预测终态与目标图像在潜空间中的距离打分。系统执行选中计划的前一段,并根据新观测重新规划。

论文表 1 中,Fast-JEPA 平均成功率为 96.50%,标准差为 0.66 个百分点;完整规划平均耗时 10.88 ± 0.04 毫秒。本地对照 INTACT 为 26.19 ± 0.22 毫秒,二者耗时比约 2.41。任务为 PushT、Reacher、Cube 和 TwoRoom,每项 100 个回合,使用 3 个独立训练的模型;计时在 NVIDIA RTX PRO 6000 Blackwell Server Edition 上预热后进行,批量大小为 1。

DynaGoal 测试目标或环境几何变化(Shift)、执行时限(Deadline)和人为控制的响应延迟(Delay)。无需基准专门微调,作者报告 Shift 和 Deadline 的平均成功率分别为 73.83% 和 87.67%。

提交来源或更正