👉 论文原文 · Embodied-R1（ICLR 2026）
🌐 项目主页 · Embodied-R1 Project
💻 代码仓库 · pickxiguapi/Embodied-R1
预训练的 VLA 经常给人这种感觉：模型明明“看”得见草莓、认得出篮子，可一旦换了背景、换了机器人，成功率就大幅下滑。丰富而准确的视觉理解，似乎没能可靠地转化成有效的动作。
Embodied-R1 (Yuan 等 2026年) 把这个问题命名为 seeing-to-doing gap：丰富的视觉理解没能可靠地转化成有效动作。论文给出的病因有两个——具身数据的稀缺，以及机器人本体的异构。而它的处方出奇地简单：在“看懂”和“做到”之间，插入一个统一的中间表示，pointing（指）。
模型不直接输出关节动作，也不输出文本计划，而是输出图像坐标：指出目标物体、指出放置区域、指出抓手部位、指出完整的运动轨迹。下游只要有一个能走到指定点的规划器，VLM 的通用感知能力就可以零样本地接上机械臂。
| 设计 | 针对的问题 |
|---|---|
| 四种 embodied pointing 能力 | “看懂”与“做到”之间缺少统一接口 |
| 与本体无关的点表示 | 机器人形态异构、知识难以迁移 |
| Embodied-Points-200K | 具身数据稀缺，且标注昂贵 |
| 两阶段强化微调课程 | 模板化 CoT 僵化、难以泛化 |
| 多任务奖励库 | 多任务混合训练时任务失衡 |
四种“指”的能力
论文没有把 pointing 当成一个模糊的说法，而是把它拆成四种明确的能力。它们输出的是同一种东西——图像坐标 \mathbf{p}=(p,q)\in[0,W]\times[0,H]——但语义各不相同。
| 能力 | 回答的问题 | 输出要求 |
|---|---|---|
| REG 指称定位 | “这是哪个物体？” | 落在物体分割 mask 内的一个点 |
| RRG 区域指称 | “该放在哪里？” | 落在合适自由空间内的一个点 |
| OFG 功能定位 | “该怎么抓、抓哪里？” | 落在把手等功能部位上的一个点 |
| VTG 视觉轨迹 | “整个任务怎么完成？” | 一串有序点 \tau=\{\mathbf{p}_t\}_{t=1}^{T} |
四种能力合起来，覆盖了“物体是谁、怎么用、放哪里、怎么过去”这些操作决策的完整链条。前三种解决局部定位，最后一种把局部决策串成一段物体中心视角的运动轨迹。这一套拆法本身不算激进——之前的工作也用过 keypoint、affordance map、visual trace——但多数工作只提供其中一种信号，或者把信号绑在特定机器人上。
为什么是点，而不是动作
这个选择可以放在两条失败路线中间理解。端到端 VLA 直接预测低层动作，但物理动作和预训练数据之间存在根本错配：互联网数据里没有动作标签，模型必须从头学起，于是被数据稀缺卡住。模块化流水线（如 MOKA 式的“VLM 选点 → 规划器执行”）可以复用通用感知，但多模型串联会把每个环节的误差逐级放大。
点的表示恰好避开了两边的问题。它是语义与空间信息的紧凑载体：一个坐标同时编码了“是什么”和“在哪里”。它不依赖任何机器人的自由度、工作空间或夹具形态，因此可以跨本体迁移，也可以直接利用互联网图像和合成数据——数据稀缺的约束被显著放松。
但论文真正想解决的问题比这更深一层：即使都输出点，SFT 训练的模型也学不好。原因在“多解困境”。指令说“把杯子放在书和勺子之间”时，满足要求的点有无数个；SFT 给的是单个标注答案，模型被迫过拟合到一个特定坐标。而 RL 用“验证器”替代“标准答案”——只要预测点落在验证区域内就给奖励——任何正确解都会被强化。模型学到的是空间约束本身，而不是某一个位置。
数据：把“答案”换成“验证器”
对应地，数据也被组织成 question–verification 对而非 question–answer 对。核心数据集 Embodied-Points-200K 约 20 万样本，四种能力各有来源：
| 能力 | 数据来源 | 规模/做法 |
|---|---|---|
| REG | RefCOCO + RoboRefIt + RoboPoint | 互联网图像与具身数据混合，判定改为“点落在 mask 内” |
| RRG | 约 100 万条开源具身轨迹 | 自动抽取终点区域、计算与参照物的关系、渲染回初始帧，筛出 3.3 万条 |
| OFG | HandAL 可操作部位标注 | 转成边界框验证，GPT-4o 生成 4 万条功能问题 |
| VTG | CoTracker3 点跟踪 | 分割主物体 → 采三个查询点 → 跟踪选最长轨迹 → 样条平滑 → 抽 8 个等距点 |
值得留意的是 RRG 和 VTG 的构造方式：用已有的视觉模型（分割、跟踪、GPT-4o）自动加工既有数据——把模型当工具，扩大监督信号的生产规模。论文也承认这个过程有噪声，靠规则过滤加人工抽查迭代收紧。
除了 pointing 数据，还有两块辅助数据：Embodied-Spatial-84K（SAT 和 WhatsUp 转成统一多选题，保证奖励可验证）和 ViRL-subset-18K（通用知识，防止专精训练造成灾难性遗忘）。
两阶段课程与多任务奖励
训练分两阶段，都用 GRPO：先在空间推理数据上练 2 个 epoch，再在四类 pointing 的混合数据上练 1 个 epoch；基座是 Qwen2.5-VL-3B，8 张 A100 各跑约 48 小时，单次采样 8 个候选回答。
多任务混合训练里，简单任务会主导优化，所以论文设计了一个模块化奖励库，每个任务的奖励是归一化加权和：
\mathcal{R}=\sum_{r\in\mathcal{F}} w_r\cdot r, \qquad \sum_{r\in\mathcal{F}} w_r=1
奖励库包含五种组件：格式奖励（<think> 与 <point> 标签合法）、准确率奖励（多选题）、point-in-mask 奖励（点是否落在验证区域内）、距离奖励（预测点与目标区域中心的距离，提供密集信号）：
r_{\mathrm{dis}}(\mathbf{p},M_{\mathrm{gt}})=\min\!\left(1,\ \max\!\left(0,\ 1-\frac{d-D_{\mathrm{min}}}{D_{\mathrm{max}}-D_{\mathrm{min}}}\right)\right)
以及轨迹奖励（预测轨迹与真值轨迹插值对齐后的 RMSE 归一化）。以 RRG 为例，总奖励是 0.1\,r_{\mathrm{format}}+0.2\,r_{\mathrm{dis}}+0.7\,r_{\mathrm{mask}}：格式是入场券，距离信号负责加速学习，mask 判定决定最终成败。
从点到动作：两条执行分支
模型输出点之后，论文提供了两条把点变成动作的路线。
- Affordance Points 分支（-P）：用 RRG 和 OFG 预测抓取点与放置点，交给 CuRobo 运动规划器生成无碰撞轨迹。适合“拿起 A 放到 B”式的抓放任务。
- Visual Trace 分支（-V）：用 VTG 生成物体中心的 2D 轨迹，借助针孔相机模型和初始深度把轨迹抬升到 3D 笛卡尔坐标，插值成 SE(3) 连续路径后由机械臂跟随执行。
两条分支共享同一个模型。论文还展示了第三种组合：把视觉轨迹作为 Diffusion Policy 的条件信号。在全套 LIBERO 40 个任务上，仅靠这一层条件，平均成功率就从 64.4% 提升到 79.4%——视觉轨迹比稀疏的语言指令提供了更密的路径约束。
零样本怎么样
空间推理。在 CVBench、CRPE、SAT、BLINK、EmbSpatial-Bench 五个基准上，Embodied-R1 的平均排名 2.1，是开源模型第一——用 3B 参数超过了 RoboBrain-7B（4.4）和 FSD-13B（4.6）。对照组 Embodied-SFT（同样数据只做 SFT）排名 3.7。
Pointing。四个基准上全面领先：
| 模型 | RoboRefIt | Where2Place | VABench-P | Part-Afford |
|---|---|---|---|---|
| GPT-4o | 15.3 | 29.0 | 9.3 | 10.2 |
| RoboPoint | 49.8 | 46.0 | 19.1 | 27.6 |
| FSD | 56.7 | 45.8 | 61.8 | 29.6 |
| Qwen2.5-VL-3B | 74.9 | 31.1 | 9.9 | 23.4 |
| Embodied-SFT | 83.9 | 41.3 | 50.5 | 40.2 |
| Embodied-R1 | 85.6 | 69.5 | 66.0 | 56.6 |
两个观察：GPT-4o 这种通用模型在 pointing 上表现很差，说明这类能力确实需要专门训练；而 Embodied-SFT 与 Embodied-R1 的差距，就是纯 RL 收益。
SIMPLEREnv 仿真。四个 Google robot 经典任务、每个 24 次，全部零样本（无任何任务微调）：
| 类型 | 模型 | 平均成功率 |
|---|---|---|
| 端到端 VLA | OpenVLA | 5.2% |
| 端到端 VLA | \pi_0-fast | 48.3% |
| 模块化 | MOKA | 33.3% |
| 模块化 | Sofar | 53.8% |
| Affordance | RoboPoint | 17.7% |
| Affordance | FSD | 40.6% |
| Pointing | Embodied-R1 | 56.2% |
叠方块任务（Stack Green Block）是所有人的洼地，Embodied-R1 也只有 36.1%，但仍然是报告中最高的。
真机。xArm 6 加第三人称相机，8 个桌面任务、物体与场景全部是训练外分布。这些任务里藏着需要推理的难点：“拿离相机最近的物体”“拿 [随机颜色] 的牙刷”“把螺丝刀放在抽屉和花瓶之间”。
| 模型 | 平均成功率 |
|---|---|
| MOKA | 9.2% |
| RoboPoint | 12.5% |
| FSD | 25.0% |
| Embodied-R1-P | 83.3% |
| Embodied-R1-V | 87.5% |
相对最强基线 FSD，提高了约 60 个百分点。失败分析里，RoboPoint 和 FSD 的零分项恰好集中在需要推理的任务上，抓细长物体（螺丝刀）也频繁失败；而 MOKA 的问题是多级串联带来的误差级联。视觉扰动实验同样干脆：背景替换后成功率仍是 100%，背景+光照+高度一起变也只降到 83%。
一个反直觉的细节是速度。虽然多了一步“先推理再执行”，Embodied-R1 的端到端执行时间（约 8–10 秒）反而比 OpenVLA 微调版（12–23 秒）、MOKA（18–28 秒）和 FSD（10–14 秒）都快：它只推理一次，而端到端模型要逐步推理、模块化方法有系统开销。
RL 究竟买来了什么
论文用几组消融回答了这个问题。在 RRG 任务上训练四个变体：RL 与 SFT 交叉是否带 <think> 推理过程。结果 RL 组合始终领先，且“RL + 推理”最好——作者的解释是模板化 CoT 记住了推理格式，而 RL 下的自由推理才能在新场景里真正进行空间分析。
混合训练也带来收益：把四类 pointing 数据混在一起训练，Part-Afford 从 51.3 升到 56.6，Where2Place 从 65.5 升到 69.5——能力之间共享了坐标与语义空间的对齐。
最值得玩味的是论文记录的一次奖励黑客。VTG 的奖励基于预测轨迹与真值轨迹的 RMSE，训练中模型很快发现：只要把起点和终点画对，再连一条直线，就能拿到不错的奖励。于是它退化成“两点式”输出，忽略中间路径。作者的修复很朴素：强制要求输出恰好 8 个点，否则全部奖励归零。加上这个约束后，VABench-V 的 RMSE 从 105.2 降到 77.8。这提醒我们，奖励函数的最小化行为不只在棋类和语言任务里出现，几何轨迹同样会被钻空子。
中间表示把问题挪到了哪里
这套范式把操作问题重新分配了：VLM 负责“看懂并指出”，执行器负责“走到并抓到”。所以零样本成功率实际上是两层能力的乘积——VLM 指得准不准，乘上规划器走得到不到。SIMPLEREnv 和真机实验的成功，一部分要记在 CuRobo 和成熟的抓取执行上。这并不意味着结果缩水，但“零样本”这个词的口径值得细看：模型没有针对任务微调，但整套系统的执行部分是为桌面抓放预设好的，任务本身也都是刚性物体的单次抓放。
顺着这个思路看，论文自己列的局限就很诚实：pointing 表示对需要力控、扭转、擦拭或操作可变形物体的任务力不从心——一个 2D 点编码不了接触力和姿态演化。视觉轨迹分支给出的方案是接一个学习式策略（如 Diffusion Policy 或阻抗控制），这在黑板上擦字和按压瓶子的定性实验里已经跑通。也就是说，点表示不是终点，而是给低层技能派单的接口。
机制上还有一个值得玩味的翻转。通常我们说模型“想对了”不等于“做对”——表征与行为之间存在鸿沟；Embodied-R1 的做法恰好相反，用 RL 强制模型把推理落成可验证的输出，让“想对了”直接转化为“指对了”。数据侧同样遵循“用现成模型扩大监督，再靠规则过滤守住质量”的逻辑：RRG 从百万级轨迹自动提取，VTG 用 CoTracker3 造标签。
当然，这套测评仍然有它的边界：真实实验只有 8 个任务、一个机器人平台，视觉扰动是定性演示而非系统化网格；<think> 推理质量没有独立于最终坐标的度量，我们看到的“像人的推理”也可能是为满足格式奖励而生成的漂亮话。但作为一个 3B 模型、两天训练就能在真机上交出 87.5% 的方案，它把“通用感知直接驱动操作”这条路证明得相当有说服力。