具身星图
Embodied AI Atlas
入场中正在打开具身世界
请稍候
具身星图

主题

X-WAM 细读 ​

WAM 论文细读 · 用视频扩散先验把「动作执行」和「4D 世界合成」装进同一个统一框架 · arXiv:2604.26694 ← WAM 总览 · 主报告

TL;DR ​

X-WAM 提出一个统一的 4D 世界模型,试图在单一框架内同时承担「实时机器人动作执行」与「高保真 4D 世界合成(video + 3D 重建)」两件事。它的核心论点是:先前的统一世界模型(如 UWM)只在 2D 像素空间建模,难以同时兼顾动作效率与世界建模质量。X-WAM 的两条关键设计是:(1)复用预训练视频扩散模型的视觉先验,通过预测 multi-view RGB-D videos 来「想象」未来世界;(2)提出 Asynchronous Noise Sampling(ANS),让动作用更少去噪步数快速解码以实时执行、视频用完整步数生成高保真。作者自评在 RoboCasa 取得 79.2%、RoboTwin 2.0 取得 90.7% 的平均成功率 ⚠️。所有定量结论目前均为作者自评、尚无第三方统一评测。

一、定位与动机 ​

X-WAM 把自己定位为一个统一的 4D 世界模型:在同一个框架内统一两类此前常被分开处理的能力——一边是面向控制的「实时机器人动作执行」,另一边是面向生成的「高保真 4D 世界合成」,后者同时包含视频(video)与 3D 重建。

动机来自对既有统一世界模型的批评。作者指出,先前的 unified world model(以 UWM 为代表)只在 2D pixel-space 建模,因而无法同时兼顾两件事:动作的效率,与世界建模的质量 ⚠️。换言之,把动作和世界塞进同一个像素空间的去噪过程,会让二者互相牵制——这正是 X-WAM 想要拆解的张力。

在本站 WAM taxonomy 中,X-WAM 属于 Joint · 扩散类:动作与世界在同一个扩散框架内被联合建模,而非串接两个独立模块。UWM 在本文中扮演直接对照基线的角色,值得对读。

二、方法与架构 ​

X-WAM 的方法由三块组成,逐层回应上面的动机。

1. 用视频先验想象未来世界。 为了利用预训练视频扩散模型已经学到的强视觉先验,X-WAM 不在裸像素上从零学习,而是通过预测 multi-view RGB-D videos 来想象未来世界——既给出多视角 RGB,也给出深度(D),从而把「世界合成」延伸到几何层面,而不仅是 2D 画面。

2. 轻量结构适配,复用 DiT。 在结构上,X-WAM 采取轻量适配而非重训:它复制预训练 Diffusion Transformer(DiT)末尾的少数几个 block,以这几个复制出来的 block 构成一条专用的深度预测分支,负责重建未来的空间信息。这样既保留了主干视频先验,又以最小代价补上 3D/几何能力。具体复制了几个 block、深度分支的接口细节(待核)。

3. Asynchronous Noise Sampling(ANS):异步去噪调度。 这是 X-WAM 最核心的设计,直接回应「动作要快、视频要好」的矛盾:

  • 推理时采用专门的异步去噪调度——动作用更少的去噪步数快速解码,以满足实时执行;视频则走完整步数,以生成高保真结果。同一框架内,两路模态沿不同的去噪时间表推进。
  • 训练时并不完全解耦时间步,而是从动作与视频时间步的联合分布采样,使训练分布与推理时的异步调度对齐,避免训练-推理失配。

直观上,ANS 把「统一」落在了一个共享的扩散骨干上,但允许两类输出在去噪时间轴上异步地走各自的路径。

数据规模。 X-WAM 预训练于 over 5,800 hours of robotic data ⚠️(具体数据集构成、来源混合比例待核)。

三、实验与关键结果 ​

以下成绩均为论文作者自评 ⚠️,目前尚无第三方统一评测可供交叉验证;部分指标作者未给出一手数值,标「待核」。

定量速览 ​

维度基准 / 指标结果可信度
操作成功率RoboCasa 平均成功率79.2%⚠️ 作者自评
操作成功率RoboTwin 2.0 平均成功率90.7%⚠️ 作者自评
4D 重建/生成视觉指标(具体指标名待核)称超越现有方法⚠️ 作者自评,数值待核
4D 重建/生成几何指标(具体指标名待核)称超越现有方法⚠️ 作者自评,数值待核

要点:

  • 在两个操作基准上,X-WAM 给出 RoboCasa 79.2% 与 RoboTwin 2.0 90.7% 的平均成功率 ⚠️。RoboCasa 基准的背景见 数据集与基准。
  • 在 4D 重建/生成侧,作者称在视觉与几何指标上均超越现有方法,但具体数值待核——摘要未逐一给出指标名与数字,本站不代为填补。
  • 与基线的对照关系上,UWM 被作为「只建模 2D 像素空间」的对照(详见 UWM 细读),X-WAM 借 RGB-D 与异步调度声称在效率与质量上同时改善 ⚠️。

四、与本站谱系的关系 ​

  • 对照基线:UWM。 X-WAM 的整篇论证建立在对 UWM 一类「2D 像素空间统一模型」的批评之上,二者宜对读,见 UWM 细读。
  • taxonomy 归类。 在本站 WAM 谱系中,X-WAM 属 Joint · 扩散类:动作与世界在同一扩散框架内联合建模,与把世界模型和策略分离的路线相对。
  • 同谱系邻居。 同属扩散/生成式世界模型路线、可横向参照的还有 DreamZero 与 Genie Envisioner。
  • 基准衔接。 评测所用的 RoboCasa 等基准,可在 数据集与基准 查到背景;若关心同期统一/通用机器人模型的对照,可参看 GR00T N1。

五、局限与存疑 ​

  • 机构与作者归属待核。 摘要未明列机构。作者列为 Jun Guo, Qiwei Li, Peiyan Li, Zilong Chen, Nan Sun, Yifei Su, Heyun Wang, Yuan Zhang, Xinghang Li, Huaping Liu,疑为刘华平组/清华系,但待核确认,不应据此断言。
  • 定量结论缺第三方评测。 RoboCasa 79.2%、RoboTwin 2.0 90.7%,以及「4D 重建/生成超越现有方法」,均为作者自评 ⚠️,尚无独立复现或统一榜单佐证。
  • 4D 指标细节缺失。 视觉与几何指标的具体名称与数值待核,无法据摘要判断超越幅度与对比对象。
  • 结构细节缺失。 「复制 DiT 末尾少数几个 block」的具体数量、深度分支的连接方式与训练目标(待核)。
  • ANS 的代价未量化。 异步去噪在动作侧用更少步数,其对动作精度的影响、以及联合分布采样的具体形式与开销,摘要未给出(待核)。
  • 数据构成不透明。 「over 5,800 hours of robotic data」的来源、域分布与许可情况未说明(待核)。

参考文献 ​

  • Jun Guo, Qiwei Li, Peiyan Li, Zilong Chen, Nan Sun, Yifei Su, Heyun Wang, Yuan Zhang, Xinghang Li, Huaping Liu. Unified 4D World Action Modeling from Video Priors with Asynchronous Denoising (X-WAM). arXiv:2604.26694, v1 2026-04-29 / v2 2026-05-07.

体例声明:本页 ⚠️ 标注项为论文作者自评,截至发布尚无第三方统一评测交叉验证;标「待核」项为一手源(摘要)未给出、本站不予编造。