具身星图
Embodied AI Atlas
入场中正在打开具身世界
请稍候
具身星图

主题

LAPA 细读 ​

WAM 论文细读 · 级联·隐式:从无动作视频用 VQ-VAE 学"潜动作"再预训练 VLA · arXiv:2410.11758 ← WAM 总览 · 主报告

TL;DR ​

LAPA(《Latent Action Pretraining from Videos》)提出一种无监督的 VLA 预训练方法:无需真值机器人动作标签,即可从缺少动作标注的互联网级视频中学习。其三段式流程为——先训练一个 VQ-VAE 式动作量化模型从视频中发现离散潜动作,再在这些潜动作上预训练一个 latent VLA,最后在机器人操作数据上微调为可执行真实动作的策略。作者自评 ⚠️ LAPA 显著优于既有基于视频的机器人策略方法,并在需要语言条件与泛化的真实世界操作任务上超过 SOTA VLA 模型;但所给摘要仅为定性陈述,具体成功率与数据/模型规模均待核。论文为 ICLR 2025 工作,arXiv:2410.11758。

一、定位与动机 ​

LAPA 针对的核心瓶颈是:训练 VLA 通常依赖带真值动作标签的机器人轨迹数据,而这类数据采集昂贵、规模受限;与此同时,互联网上存在海量无动作标注的视频,蕴含丰富的物理与操作先验却无法直接用于监督学习动作。LAPA 的立场是——若能用无监督方式从无动作视频里"发现"一套可迁移的动作表征,就能把预训练的数据规模从有限的机器人轨迹扩展到互联网级视频。

它给出的答案是潜动作(latent action):不直接预测真实机器人动作,而是先学一套离散潜动作来刻画"帧与帧之间发生了什么变化",在这层隐式表征上完成大规模预训练,再用少量带标签的机器人数据把潜动作对齐到可执行控制。

在本站 WAM 谱系中,LAPA 被归入 Cascaded·Implicit(级联·隐式,潜表征对齐路线)——它不是把视频与动作放进同一去噪/生成主回路联合建模,而是分阶段地先在隐式潜动作空间预训练、再级联微调到真实动作。这与 DreamZero 所代表的 Joint 路线形成对照(详见第四节)。

论文 16 位作者,含 Seonghyeon Ye(与 DreamZero 同一 lead 作者)、Luke Zettlemoyer、Dieter Fox;作者机构未在所给摘要明列(待核)。提交于 2024-10-15(v2 2025-05-15),发表于 ICLR 2025。

二、方法与架构 ​

LAPA(Latent Action Pretraining for general Action models)是一种无监督方法,无需真值机器人动作标签即可预训练 VLA。其流程为三段式:

  • 第一段——动作量化(VQ-VAE):训练一个 VQ-VAE 式动作量化模型,从缺少动作标注的互联网级视频中发现离散潜动作。这一步用视频自身的时序变化作为监督信号,把"两帧之间的变化"编码为一组离散的潜动作 token,无需任何真实动作标签。
  • 第二段——latent VLA 预训练:在上一步得到的离散潜动作上预训练一个 latent VLA。此阶段模型学习把视觉观测与语言条件映射到潜动作空间,从而在大规模无标注视频上获得可迁移的策略先验。
  • 第三段——机器人动作微调:在带真值动作的机器人操作数据上微调,把潜动作对齐/解码为可在真实机器人上执行的动作,得到最终可部署的策略。

说明:以上三段(动作量化 → latent VLA 预训练 → 机器人动作微调)逐字对应所给摘要要点。VQ-VAE 的码本规模、潜动作 token 的具体形式、latent VLA 的主干与参数量、各阶段训练目标与数据构成等实现细节,在所给摘要中均未展开(待核)。

三、实验与关键结果 ​

以下为论文作者自评 ⚠️,且所给摘要仅给出定性结论、未提供具体数字,故无法标 ✅,具体数值标「待核」。

维度对比对象结果(作者自评 ⚠️)
相对既有视频策略方法既有基于视频的机器人策略方法显著优于(具体成功率待核)
真实世界操作泛化SOTA VLA 模型在需语言条件与泛化的真实操作任务上超过(具体数值待核)
预训练/微调规模—待核(一手源未在所给摘要给出)

要点解读:

  • 两条结论目前均为定性表述——"显著优于"与"超过 SOTA",所给语料未给出成功率、任务集构成、本体型号与评测协议,故全部标「待核」,不应按确证结果解读。
  • 论文主张的关键卖点是"无需真值动作标签即可从互联网级视频预训练",其实验意义在于验证:无监督学到的离散潜动作经少量机器人数据微调后,确实能转化为有竞争力的可执行策略(作者自评 ⚠️)。
  • 与 SOTA VLA 的对比落在"语言条件 + 泛化"的真实操作场景,这正是潜动作预训练期望带来增益的方向,但缺少绝对数值无法独立判断提升幅度。

四、与本站谱系的关系 ​

  • taxonomy 归属(Cascaded·Implicit):综述把 LAPA 归入 级联·隐式(潜表征对齐路线)——先在离散潜动作这一隐式表征上预训练,再级联微调到真实动作。这与 DreamZero 的 Joint(联合建模 video 与 action)路线形成对照:LAPA 把"潜动作预训练"当作可迁移的训练先验,而非把世界模型当作推理时的策略本体。
  • 与 GO-1 的对读(离散潜动作 token):LAPA 的"离散潜动作"思想与本站 GO-1 的 ViLLA(离散潜动作 token)相通,二者都用一层离散潜动作把视觉-语言条件与底层控制解耦,可作一组直接对读。
  • 与 DexWorldModel 的对读(级联·隐式同格):本站收录的 DexWorldModel(2026-04,以冻结 DINOv3 特征为生成目标的潜世界模型 + O(1) TTT 记忆)与 LAPA 同属「潜空间预测、不解码回像素」一格,是该思路 2026 的强化版。
  • 同一研究脉络(同一 lead 作者):LAPA 与 DreamZero 同为 Seonghyeon Ye 主导,反映同一研究脉络的演进——从这里的"潜动作预训练"(把世界/视频信息当作训练阶段的表征先验),走向 DreamZero 的"WAM 即策略"(把世界模型直接放进推理主回路)。
  • 谱系内还可参看 VPP 等条目与 WAM 总览 中对级联与联合路线的整体刻画。

五、局限与存疑 ​

  • 成绩为定性、作者自评 ⚠️:所给摘要只给出"显著优于既有视频策略方法""超过 SOTA VLA"两条定性结论,无任何成功率/基线绝对值/任务清单,尚无第三方统一评测,不应按 ✅ 解读。
  • 方法细节缺口(待核):VQ-VAE 动作量化的码本与离散潜动作形式、latent VLA 主干规格、三阶段训练目标与数据来源/规模,在所给摘要中均未展开。
  • 机构信息缺失(待核):16 位作者(含 Seonghyeon Ye、Luke Zettlemoyer、Dieter Fox)的署名机构未在所给摘要明列。
  • 路线固有风险(待核):无监督发现的离散潜动作是否充分覆盖真实控制所需的动作语义、潜动作到真实动作的对齐在跨本体/长程任务上的稳定性,摘要未给出失败模式分析。

参考文献 ​

  • Seonghyeon Ye 等(16 作者,含 Luke Zettlemoyer、Dieter Fox),《Latent Action Pretraining from Videos》,arXiv:2410.11758,ICLR 2025;提交于 2024-10-15(v2 2025-05-15)。

体例声明:本页所有定量/成绩为论文作者自评(标 ⚠️),且一手摘要仅给定性结论、未给具体数字(故相关数值标「待核」,不使用 ✅);标「待核」者为一手源在所给语料中未给出、未作任何外部补全。