具身星图
Embodied AI Atlas
入场中正在打开具身世界
请稍候
具身星图

主题

DexWorldModel(CLWM)细读 ​

WAM 论文细读 · 级联 · 隐式(潜世界模型:DINOv3 潜空间预测未来 → 动作流匹配,不解码回像素)· arXiv:2604.16484(v1 2026-04-13) 机构:DexForce AI(作者 Yueci Deng · Guiliang Liu · Kui Jia)· 许可 CC BY 4.0(未见代码/项目页链接) ← WAM 总览 · 主报告

TL;DR ​

DexWorldModel 的核心是 因果潜世界模型(Causal Latent World Model, CLWM):把世界模型的「预测目标」从像素/VAE 潜换成冻结 DINOv3 的语义特征——意在剥离光照、背景等任务无关的视觉噪声,只建模「交互语义如何演变」,换取更稳的域泛化。它是一个级联·隐式结构:① 用流匹配预测未来 DINO 潜特征,② 再以预测出的潜特征 + 历史 + 语言为条件、流匹配解码动作块。

围绕「能长时间跑、能高频跑」,它配了三件工程:双态测试时训练(TTT)记忆(用可在测试时更新的 MLP 权重内化历史,号称 O(1) 显存,摆脱 KV cache 的 O(T))、推测式异步推理(SAI)(在机器人执行上一步动作时,GPU 先用「推测特征」预去噪,真实观测到达后只补完剩余步——阻塞延迟约 −50%)、以及 EmbodiChain 在线数据流框架(无限生成物理合理的合成轨迹喂训练,提出「效率定律 / 经验吞吐」)。

⚠️ 可信度提示:arXiv ID ✅ 已核(标题、作者 Yueci Deng / Guiliang Liu / Kui Jia 一致)。下列全部成功率、O(1) 显存、−50% 延迟均为作者自评(RoboTwin 自跑 + Agilex 双臂真机 4 任务);非独立第三方复现。本站按 ⚠️ 标注。

一、定位与动机 ​

作者把现有 WAM 的「根本限制」归为三点:① 表征冗余——直接预测像素/VAE 潜会把容量浪费在任务无关细节,拖累泛化;② 显存爆炸——KV cache 随序列 O(T) 线性增长,长程部署吃不消;③ 推理延迟——「感知-计算-动作」串行,阻塞高频控制。CLWM 三件工程正对这三点。

二、方法与架构 ​

2.1 DINOv3 潜特征作生成目标(而非像素) ​

用冻结 DINOv3 base 抽语义特征图 f_t = Φ_DINO(o_t)(patch=16)作世界模型的预测目标。论文主张这「把交互语义从视觉噪声里解耦出来」,带来更强的域泛化——这也是它归入「级联·隐式」(潜空间预测、不回像素)的原因。

2.2 级联两阶段(非联合) ​

  • 阶段一(潜视频流匹配):条件流匹配预测未来潜特征 f_{t+1};
  • 阶段二(动作流匹配):以预测潜特征 + 历史上下文 + 语言为条件,解码动作块(τ=16)。
  • 训练用条件流匹配(CFM),并对历史做噪声增广(概率 p=0.5、噪声尺度 [0.5,1])——为后面 SAI 的「带噪预去噪」提供稳健梯度。
  • 骨干:Mixture-of-Transformers(MoT),从 Wan2.2-5B 初始化,潜视频模型与动作模型共享核心 transformer 块,仅时步嵌入与输入输出投影分模态。

2.3 双态 TTT 记忆(O(1) 显存) ​

用测试时训练层(可在推理期内循环梯度更新的 MLP)替代 KV cache:长期记忆 W^long 只被真实观测锚定、有新传感数据才更新;工作记忆 W^work 从长期权重 fork、ODE 积分期间冻结、仅在流时间 s=0 用预测潜状态更新。历史被「内化进权重」而非堆成 token 序列,故号称与轨迹长度无关的 O(1) 显存。

2.4 推测式异步推理 SAI(延迟 −50%) ​

执行期:机器人执行 a_{t-1} 时,GPU 用推测特征 f̂_t 把扩散从 s=0 预去噪到 s_mid;观测到达:真实 f_t 到来后校准长期记忆,ODE 从 s_mid 续到 s=1,只补细粒度剩余步。论文称在 RoboTwin 模拟器上相对串行基线(LingBot-VA)阻塞延迟约 −50%。

2.5 EmbodiChain:在线数据流 +「效率定律」 ​

主张「具身训练的效果首要取决于持续供给新鲜、多样、物理有效的经验」,提出经验吞吐 ℰ 指标。组件:生成式仿真(资产/场景合成)+ 域扩展(可达性采样、闭环纠错、参数化视觉增广、物理有效性)+ 无锁环形缓冲的在线数据流(异步生成、零拷贝消费、有界回放保新鲜)。后训练完全用 EmbodiChain 合成轨迹、无人工采集。

三、实验与关键结果 ​

全为作者自评 ⚠️。

  • RoboTwin(50 双臂任务,Table 1):π0.5 76.76% / X-VLA 72.84% / Motus 87.02% / LingBot-VA 91.55% / CLWM 94.00%。
  • 效率:2,000 步回合内 KV cache 呈 O(T) 线性增长,TTT 保持平直 O(1);SAI 相对串行基线阻塞延迟 ≈ −50%。
  • EmbodiChain 消融(ID/OOD):仅空间随机化 64/25 → +视觉增广 75/42 → +物理有效生成 81/56 → +可达性采样(全)95/82。
  • 在线数据流 vs 静态(Hanging Mug / Turn Switch / Stack Bowls):静态(1,500 示范)62/85/88 → ODS_sample=10(全)96/98/98(吞吐越高、回放界越小,提升越大)。
  • 真机零样本 sim-to-real(Agilex CobotMagic 双臂,4 任务;仅仿真训练、无真机示范,Table 4):倒水/桌面整理/递交摆放/开锅摆放——π0 25/20/20/5 · GR00T N1.5 35/20/15/5 · Sim2Real-VLA 80/80/40/35 · CLWM 95/90/80/65;论文称超过「用 50 条真机示范微调」的基线。
  • 数据:预训练聚合 RoboMind + AgiBot World Beta + InternData-A1(动作标准化到 30 维:双臂各 7 关节 + 7 末端 + 1 夹爪);后训练全用 EmbodiChain 合成。

四、与本站谱系的关系 ​

  • 最近亲 LaDi-WM:都在潜空间预测未来、不解码回像素;CLWM 进一步把潜目标换成冻结 DINOv3 语义特征,主打域泛化。与 VPP、LAPA 同属「级联·隐式」。
  • 测试时算力:其 TTT 记忆(把历史内化进可在线更新的权重)与 τ0-WM 的「测试时搜索」同为「把算力搬到推理期」的思路,但机制不同(权重内化 vs 搜索)。
  • 世界模型作数据引擎:EmbodiChain 与 GE-Sim 2.0 是同一命题的两条路(合成轨迹流 vs 视频世界模拟器);本站「世界模型三定位」见 具身数据全景 §4.1。
  • 真机基线:零样本 sim-to-real 对比 π0、GR00T N1.5、Sim2Real-VLA。

五、局限与存疑 ​

  1. 无显式 limitations 节(本页据实记录);可见弱项:Turn Switch 65%、开锅摆放 65% 偏低,OOD 82% < ID 95%——精度/受力敏感与铰接物体仍吃力。
  2. O(1) 显存 / −50% 延迟 / 94% 均为论文设定下的自评 ⚠️,无第三方复现;真机平台单一(Agilex CobotMagic)、各 4 任务。
  3. 强依赖冻结 DINOv3:对真正陌生的视觉域,语义特征的适应上限存疑。
  4. 无代码/权重/项目页,复现待核;EmbodiChain 的「无限合成」对真机长尾的覆盖度,仍需真机大规模验证。

参考文献 ​

体例声明:本页 arXiv ID 经 ✅ 核验;一切成功率 / 显存 / 延迟为作者自评 ⚠️,非第三方复现。引用数据请连同 ⚠️ 一并保留。