X-Tokenizer:把动作分词器变成 VLA 的语义接口
arXiv:2606.14752(v1 2026-06-07,v2 2026-06-28) · 项目页:https://x-square-robot.github.io/X-Tokenizer_projectPage/ · 代码:https://github.com/X-Square-Robot/X-Tokenizer · 权重:https://huggingface.co/x-square-robot/X-Tokenizer
机构:X Square Robot(自变量机器人) / City University of Hong Kong / Tsinghua University · 路线:VLA · 动作 tokenization / semantic action interface ← 返回主报告
TL;DR
X-Tokenizer 不是一个完整 VLA 主干,而是一个可冻结复用的动作分词器。它要解决的问题是:FAST、普通 RVQ 这类动作 tokenizer 往往只优化"能不能把连续动作压缩再重建",离散 code 对 VLM 主干来说语义不透明;X-Tokenizer 则把动作分词定义成语义接口学习(semantic interface learning),让动作 token 同时服务两件事:
- 给 VLA 主干强语义监督:顶层离散 code
q0学粗粒度动作意图,能作为 next-token CE 之类的训练信号去塑造 VLM / VLA backbone。 - 保住连续控制细节:下层残差 code
q1-q3仍承担运动重建,避免只剩语义而丢精细轨迹。 - 冻结后接入下游 VLA:作者主张一个 tokenizer 在 2.4M trajectories / 2.0B action frames / 17 arm families 上预训练后,可直接作为混合离散-连续 VLA 的表征监督信号。
⚠️ 重要口径:X-Tokenizer 的 RoboTwin、跨本体和真机成绩均为作者/自变量自评,尚无第三方统一复现。它的权重和代码已公开,但"tokenizer 带来的收益"仍可能与下游 Wall-OSS 配方、数据和 policy head 纠缠,不能单独当成已独立验证的模型能力。
1. 为什么它重要
VLA 里"离散动作 token"一直有两种用途:一是像 RT-2 / OpenVLA 那样直接让 LLM 自回归输出动作;二是像 π0-FAST / Wall-OSS-0.5 这类混合系统,把离散 token 当训练期的语言式监督,部署时仍走连续动作头。
X-Tokenizer 的价值在第二类。连续流匹配/扩散动作头很适合执行,但它给大 VLM 主干的梯度通常弱且间接;离散 token CE 是 VLM 原生接口,梯度强,但普通 token 如果只是压缩轨迹,对"拿起、靠近、放入、对齐"这类意图没有显式结构。X-Tokenizer 试图把这条桥做得更语义化:上层 token 对齐意图,下层 token 保留运动细节。
这也解释了它和 Wall-OSS-0.5 的关系:Wall-OSS-0.5 早先写作 Vision-Aligned RVQ 动作分词器;X-Tokenizer 是这条动作分词器路线的正式论文/开源版本,把普通 RVQ 进一步明确为 Semantic Residual Quantization(SRQ)。
2. 方法:Encoder -> SRQ -> Decoder
2.1 多模态动作编码器
输入不是孤立的动作数组,而是同一时间片的动作 chunk + 多模态上下文。项目页给出的上下文包括三视角视频、任务级语言和细粒度子任务指令;编码器把动作 chunk 对齐到冻结 VLM 的压缩特征空间。论文摘要称训练中使用与预训练 foundation model 表征空间的 contrastive alignment。
直观理解:它不是问"这 32 帧动作怎么压缩最省",而是问"这段动作在当前视觉语言任务里对应什么意图"。
2.2 SRQ:把意图和运动残差分层
SRQ 是核心差异。它仍像 residual vector quantization 一样分多层量化,但目标不对称:
q0顶层 code:用 Masked Action Modeling(MAM)训练,侧重粗粒度动作意图,例如靠近、抓取、放置、对齐这类语义运动单元。q1-q3残差 code:继续偏向重建,吸收末端姿态、路径细节和噪声扰动。- 稳定性假设:项目页展示了加噪后
q0基本稳定、残差层吸收扰动的结果,意图是让 tokenizer 在跨本体和示教噪声下更稳。
Hugging Face model card 给出的工程规格是:2048 codebook x 4 residual quantizers,压缩比 4,训练/推理动作布局为 26 维 flat action,bimanual EEF + chassis + lift + head;支持 chunk size 8-64,并提供 time_major / quantizer_major 两种 token layout。
2.3 解码器与辅助监督
解码器负责把离散 token 还原为连续动作 chunk。额外还有两类语义对齐信号:
- VLM 表征对齐:动作 latent 与冻结 VLM 表征空间做 contrastive alignment。
- 下一帧 VL 特征预测:让动作 token 预测动作后果对应的未来视觉语言特征,使 token 不只记轨迹形状,也记"做完后世界会怎样"。
这些辅助头在训练期塑造 token 空间,下游使用时可以冻结 tokenizer,把 token 作为 VLA 预训练的离散监督。
3. 数据与开源状态
| 项 | 口径 |
|---|---|
| 预训练规模 | arXiv / 项目页:2.4M trajectories,2.0B action frames |
| 本体规模 | 项目页:17 arm families;Hugging Face / GitHub model card:18 canonical robot embodiments |
| 动作布局 | 26 维 flat action:双臂 EEF、夹爪、底盘、升降、头部 |
| tokenizer 规格 | 2048 codes x 4 residual quantizers;chunk size 8-64;压缩比 4 |
| 开源 | GitHub 代码公开;HF x-square-robot/X-Tokenizer 权重页标注 Apache-2.0 |
17 arm families 与 18 canonical embodiments 是一手页面间的口径差异。本站暂不硬合并:前者用于论文/项目页规模,后者用于 released model card 的工程支持范围。
4. 结果怎么读
作者项目页给出三组主张:
| 场景 | 自评结论 |
|---|---|
| RoboTwin 2.0 dual-arm | Hard 难度降幅 -3.8,对比 π0.5 的 -5.9 |
| 5-arm cross-embodiment joint training | Hard 提升 +10.4 |
| 真机 7 个 tabletop tasks | frozen tokenizer、无 per-task tuning,平均 77.4 |
| 对比 FAST | multimodal grounding +13.5%,long-horizon execution +8.25 |
这些结果说明作者认为 tokenizer 的语义化 比单纯低失真压缩更有利于 VLA 预训练。但要保守读:
- 对比是在作者自己的下游 VLA / Wall-OSS 配方里做的,tokenizer、数据、训练目标和 policy head 可能互相耦合。
- 真机任务与指标不是独立第三方维护榜,仍应标 ⚠️。
- 其强点在"作为训练接口"而非"单独执行策略":X-Tokenizer 本身只是编码/解码动作,不是完整闭环策略。
5. 与 FAST / Wall-OSS-0.5 的关系
| 对照对象 | 区别 |
|---|---|
| π0-FAST | FAST 用 DCT + 量化 + BPE 做高效动作分词,核心是压缩与自回归效率;X-Tokenizer 是学习式 SRQ,核心是语义接口和 VLM 表征对齐。 |
| 普通 RVQ / VQ-VLA | 普通量化通常把所有层都看作重建码;X-Tokenizer 把顶层 q0 明确改成意图层,下层才主要做残差重建。 |
| Wall-OSS-0.5 | Wall-OSS-0.5 的"离散 RVQ 梯度桥"可视为这条路线的系统用法;X-Tokenizer 是正式公开的 tokenizer 论文/代码/权重,把 Vision-Aligned RVQ 更新为 SRQ + MAM + VLM 对齐。 |
一句话:如果说 Wall-OSS-0.5 的关键判断是"用离散 token CE 去塑造主干",X-Tokenizer 补上的就是"这个离散 token 应该怎样学,才不只是压缩码"。
6. 局限与待验证
- 指标仍是作者自评:RoboTwin、跨本体和真机 7 任务尚无第三方统一复现。
- 收益归因不完全独立:tokenizer 增益可能与 Wall-OSS 数据、主干、co-training 目标和连续动作头共同产生。
- 本体口径需注明:论文/项目页写 17 arm families,HF/GitHub 写 18 canonical embodiments,引用时最好带来源。
- 动作 schema 有边界:released model card 以 26 维 flat action 为主,其他机器人可通过缺失 DOF mask 适配,但跨到腿式/全身人形动作空间仍需验证。
7. 来源
- 论文:X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining. arXiv:2606.14752. https://arxiv.org/abs/2606.14752
- 项目页:https://x-square-robot.github.io/X-Tokenizer_projectPage/
- 代码:https://github.com/X-Square-Robot/X-Tokenizer
- 权重 / model card:https://huggingface.co/x-square-robot/X-Tokenizer
- 发布新闻:北京商报《自变量发布跨模态具身动作分词器 X-Tokenizer》,2026-06-30. https://www.bbtnews.com.cn/2026/0630/597820.shtml