[{"content":"腾讯云架构师峰会具身叙事分享。以下为完整演示文稿，共 18 页。\n下载完整 PDF（6.2 MB）\n","permalink":"https://wangyizhou33.github.io/tech-blog/posts/tencent_1024/","summary":"腾讯云架构师峰会具身叙事分享，在线浏览全部 18 页演示文稿，或下载完整 PDF。","title":"腾讯云架构师峰会具身叙事分享"},{"content":"0. 一场争论，和一场主动的撤退 0.1 有人把话说破了 2026 年 9 月初，一位刚带着公司完成上市的机器人行业创始人，在朋友圈里把话说得很重，并且点了名。\n据媒体转述，他的核心意思是：二级市场不是风险投资市场，一家公司走到上市这一步，至少要先证明自己有真实、可持续、有一定规模的业务，以及与之匹配的治理水平。而具身智能赛道里有一批公司不是这样——它们靠\u0026quot;攒局\u0026quot;起家，用建数采场、做关联交易这类办法把收入做出来，再借地方政府和国资的投资推着自己快速上市。\n被点名的一方第二天发了声明，大意是不参与无谓的口水战，公司的壁垒建立在真实的研发投入和已经跑了两年的落地场景上。\n谁更占理，本文不做裁判。这场争论真正的价值，在于它把一件行业里人人心里有数、但很少摆到台面上的事，第一次摊开在了公众面前。\n0.2 那个被点名的闭环 把它拆开，是这样一圈：\n机器人厂商把本体卖给数采场 → 数采场用这些机器人采数据 → 厂商本身、或者它关联的数据服务公司，再把这批数据回购回来。\n钱从厂商账上出去，绕一圈变成厂商账上的收入；机器人完成了出货，数据找到了买家，场子拿到了订单——三方的报表同时变好看。地方乐见其成，因为落地了一个看得见的产业项目；国资跟着投进来，因为投的是一个有营收、有订单的标的。\n整条链条上唯一没出现过的角色，是一个因为\u0026quot;这批数据真的让我的模型变好了\u0026quot;而自愿掏钱的客户。\n这不是个别现象。IDC 的统计是，2025 年人形机器人的出货量里，商演、科研和数采场景合计占 78.4%；真正进到生产环节干活的，不到四分之一。\n所以那位创始人真正骂的不是采数据这件事，是数据回购这个动作：有它兜着，一个场子的全部经营指标都可以是安排出来的，而不是挣出来的。收入多少、交付了多少条、机器人上了多少台，在回购条款面前都不构成证据——因为这些数字是先约好的。\n于是绕不开这么一问：\n把回购这层兜底拿掉，数采场这门生意，还剩下什么？\n这个问题有一个不靠谁表态的答案。它发生在这场争论之前十天。\n0.3 一场主动的撤退 2026 年 8 月 28 日，多家媒体报道，北京首个人形机器人数据训练中心已停止运营。\n这个中心 2025 年 3 月在石景山首钢园揭牌，占地约 3000 平方米，部署过 100 多台机器人，搭了家庭康养、特种作业、新零售、汽车装配、机器人新餐饮、3C 电子工厂等十大实景场景，年产出超百万条多模态数据。石景山区方面当初的预期是：年数据交易超 100 万条，三年内形成 50 亿元规模的机器人数据服务市场。\n核心设备与技术的提供方睿尔曼智能已经撤出。这家公司成立于 2018 年，主营关节模组、机械臂和轮式机器人，2026 年 3 月完成近 5 亿元 C 轮融资，8 月启动创业板上市辅导——不是一家撑不下去的公司，是一家主动掉头的公司。\n这一点决定了这件事该怎么读：倒下的不是一家数采场，是一种数采模式。\n问题是，同样的模式，全国还有一百多家在跑。\n而这一百多家是靠什么跑起来的——是客户真金白银买数据，还是 0.2 那个闭环在供血——正是那场争论在吵的东西。本文不替任何一方辩护，只想回答一个更难的问题：如果供血停了，这一百多家里，还有没有一种活法。\n1. 红海：按条计价的生意为什么撑不住 先把 0.2 那个闭环放到一边。假设需求全是真的——客户真金白银来买数据，没有任何回购兜底——这门生意依然撑不住。\n这一节讲的就是这个：不是钱脏，是模式本身有天花板。两个问题得分开看，否则容易得出\u0026quot;把关联交易清理掉就没事了\u0026quot;的结论。\n1.1 标准模式 过去两年，国内数采场的模式高度一致：租一块场地，搭若干个实景场景，批量采购不同厂商的机器人本体，招一批采集员，用遥操作（操作员通过手柄、动捕或主从臂驱动机器人）录制动作，按轨迹条数/有效数据时长向模型公司结算。\n这个模式跑得很快。据中国信通院等机构 2026 年 8 月发布的《具身智能训练场研究报告（2026 年）》，全国已建成的具身智能数采 / 训练场超过 70 家，另有 46 家在建及规划中，总布局超过 110 家。\n1.2 睿尔曼自己的复盘 睿尔曼给出的撤出理由，公开可查的有三条：\n一是环境太干净。 该公司相关负责人对南都记者表示，实验室遥操采集是在封闭的标准化场景中完成动作录制，环境参数可控、光照固定、场景相对单一，产出的数据无法覆盖真实世界中光线干扰、物料偏差、场地不平、工况异常等不可预知的物理变量，导致机器人的环境泛化能力一般。\n二是重资产纯投入。 场地建设、专用设备、专职数采团队都要单独投，所有成本都是纯研发投入，没有业务收入摊薄。\n三是单位有效数据成本高。 这是前两条的乘积——由于数据泛化性有限，大量采集的数据无法落地应用，折算到\u0026quot;可落地的有效数据\u0026quot;上，单条成本很高。\n睿尔曼董秘把石景山定义为公司数据采集的 1.0 版本：完成了从 0 到 1 的验证，积累了千万级轨迹片段数据，但本质上仍是\u0026quot;实验室场景\u0026quot;。用该公司的话说，实验室遥操数采解决\u0026quot;有没有数据\u0026quot;的问题，到真实作业环境中远程遥操数采，解决的是\u0026quot;数据好不好\u0026quot;的问题。\n1.3 但真正的病因在商业模式，不在泛化性 泛化性差是症状。病因是一句更简单的话：\n数采场卖的是\u0026quot;轨迹条数\u0026quot;，客户买的是\u0026quot;模型能力提升\u0026quot;。这两者之间的转换率极低，而且数采场既不掌握、也看不见这个转换率。\n这个错配在早期是被掩盖的。当行业整体处在\u0026quot;无真机数据可训\u0026quot;的阶段，条数和能力近似成正比——任何一条数据都在填一片空白，所以按条计价是成立的、公平的、可结算的。睿尔曼说石景山\u0026quot;解决了具身智能无真机数据可训的早期空白问题，支撑了基础动作模型的搭建\u0026quot;，这句话是真的。\n但基础数据一旦够用，这条正比关系就断了。断了之后，问题变成：\n客户没法验收。他不知道这一万条让模型好了多少，只能砍价。 数采场没法提价。它无法证明自己这一万条比隔壁那一万条更值钱，只能拼产能。 七十多家已经建成的场子在同一个无差别计量商品上正面相撞，后面还排着四十多家。 还有一个后果值得单独说：按条计价不需要看懂模型。\n所以进场门槛几乎为零。一个不懂具身智能的运营团队，只要能租到场地、买到机器人、招到人，就能开工计件。这批团队在数据红利期是产能，在红利期结束后是最先出清的一批——因为他们手里除了工时，没有任何别的东西。\n这一点先记在这儿，第 4 节要用。\n2. 为什么是现在：两件事同时发生了 \u0026ldquo;数采场要转型\u0026quot;这个判断，2024 年也有人说。它在 2026 年才真正成立，是因为两件事撞到了一起。\n2.1 第一件事：无本体采集把\u0026quot;采数据\u0026quot;赶出了场地 今年以来，不依靠机器人本体的无本体采集兴起——人自己戴着采集设备，从第一人称视角（技术上叫 egocentric，就是从自己的眼睛和手的角度记录）在真实环境里采，绕开真机遥操的高成本和低效率。\n关键在于，为了把这种采集做到规模化，机器人厂商发动的是宝妈、店员、工人这些在真实环境里本来就在干活的人，而不是向实验室环境下的数采场采购。\nInteract Analysis 的报告发现，一些数采场开始引入无本体采集模式。但南都援引的一位具身智能公司数采业务人士说得更直接：自从转向无本体模式后，其公司停止了和数采场的合作，同时要求数采外包供应商不能在专门搭建的数采场内采集无本体数据。\n2.2 第二件事：真机 RL 被写进了基础模型的主线配方 先把话说住，免得说过头：RL 不是新东西，也没有取代模仿学习。\n在这批数采场建起来的时候，RL 作为一种训练范式早就成立，一直有团队在用；到今天，也仍然有大量团队在纯模仿学习的路子上做得很好。这不是一次改朝换代。\n变的是它的位置。\n以 Physical Intelligence 的 π 系列为例：π₀（2024）和 π₀.₅（2025）的机器人策略训练本质上是模仿学习——把人演示的动作当作标准答案让模型去复现。到了 π*₀.₆ / RECAP，流程变成：先在演示数据上做离线 RL 预训练，再用目标任务的演示数据做一轮 SFT，然后进入部署 → 让模型自己跑 → 收集经验和人类干预 → 重训 → 再部署的迭代。注意模仿学习并没有被换掉，它仍然是底座；RL 是加在上面的一层，提升的是成功率、速度、流畅度和特定的失败模式。\n所以真正的变化不是\u0026quot;出现了 RL\u0026rdquo;，而是：\n真机 RL 从一个可以在实验室里做的研究选项，变成了写进通用机器人基础模型主线配方里的一道工序。\n研究选项和一道工序的区别在于：工序要反复跑、按量跑、跑在真实本体上。而这道工序的输入是三样东西——模型自主 rollout（模型自己开着机器人跑）、reward 与价值信号、以及人类干预。\n技术细节第 3 节讲。这里只需要注意一个事实：\n在一个 SOTA 训练配方里，明确写着一个必须有物理场地、真实机器人和真人在场的环节，而且这个环节要按量重复。\n一件要按量重复的事，才可能变成一门生意。\n2.3 于是瓶颈换了位置——旧业务的杀手，正是新业务的来源 这两件事撞在一起，产生了一个反直觉的结果。\n无本体采集杀死了数采场的旧业务。但它同时也把整个行业的瓶颈从：\n\u0026ldquo;我没有数据。\u0026rdquo;\n推到了：\n\u0026ldquo;我有一堆数据，模型也训出来了，可它在真实任务上成功率 40%。我不知道它差在哪，也不知道下一批该采什么。\u0026rdquo;\n前一个问题无本体采集解决了，后一个问题它一点也没碰。\n原因在无本体数据在训练流水线上的位置——它覆盖得了前两段，覆盖不到第三段。\n预训练阶段。 无本体数据极其好用，而且是目前最便宜的规模化来源。视觉语义、任务结构、物体可供性（affordance）这些先验，人的第一视角看得清清楚楚。\n动作微调阶段。 开始吃力，但可以补。人手不是夹爪，第一视角里没有关节反馈、没有力，这个本体差异（embodiment gap）得靠一批真机数据收口。这一步仍然是离线的，仍然可以外包。\n再往后。 绕不过去真机强化学习。模型得自己开着机器人在真实任务上跑，跑出成功也跑出失败，才知道该往哪儿改。这一步没有离线替代品——它的输入必须由这个模型此刻的行为生成，谁也没办法提前替它采好。\n所以无本体采集真正干的事，是把前两段的成本压到极低，于是把所有人都更快地推到了第三段。而第三段的瓶颈不是数据量，是有没有地方让模型跑、有没有人在它失败的时候接手。\n而\u0026quot;验证模型、定位失败、在失败点补数据\u0026quot;这件事，拆开正好是三笔生意，且每一笔都必须落在物理场地上：\n交付什么 体检 把客户的模型放进一组固定、可复现的场景里跑，产出成功率和失败分类 诊断 根据失败分布，决定下一批该补什么数据 补课 机器人自己跑、人在失败处接管演示，产出数据 payload 体检要求场景可复现——同样的光照、同样的物料位置、同样的初始状态，否则两次测试的分数不可比。这恰恰是遥操采集模式下被当成缺点的\u0026quot;环境太干净\u0026quot;。\n但这里\u0026quot;可控\u0026quot;控的是测量条件，不是任务难度：能复位的是光照和初始状态这些能不能对齐，不是把任务本身变简单——跑的活儿还是要贴近真实工况，只是每次都从同一个起点开始，这样两次打分才能比。\n同一个属性，在采集生意里是缺陷，在评测生意里是刚需。\n所以场地的身份要换：从数据源，变成练习场。\n说白了：体检、诊断、补课都在这儿发生——它是一家专门开给机器人大脑的辅导班。\n2.4 这件事，语言模型那边已经做过一遍 大语言模型的训练配方就是这个形状：行业里叫 RLHF（reinforcement learning with human feedback，用人类反馈做强化学习）——模型自己生成，人来判好坏，再拿这个信号回去训。差别只在于\u0026quot;人来判好坏\u0026quot;这一层发生在哪儿：语言模型的那一层，一个网页前端就收完了，用户点个赞或者踩，就是一条数据；具身智能的这一层，网页收不了——人得站在机器人旁边，等它出错，然后伸手。\n脑训练中心就是具身智能的那个\u0026quot;前端\u0026quot;。只不过它不是一个网页，是一块场地、一批机器人和一群人。\n3. RL 是一种训练范式，不是一种模型架构 这一节要回答第 4 节的商业模式赖以成立的技术问题：为什么客户的模型必须部署在环？为什么模型自己跑出来的数据，比采集员遥操出来的数据贵得多？\n3.1 先澄清一个常见误解 行业里经常把\u0026quot;我们做 VLA\u0026quot;和\u0026quot;我们做 RL\u0026quot;当成两条路线在比较。这是范畴错误。\nVLA 是架构——视觉语言动作模型长什么样。RL 是训练范式——你拿什么信号去更新它。同一套架构，喂不同结构的数据、换不同的目标函数，就是不同的范式。\nπ 系列的演进正好是一个干净的例子：\n模型 主要训练方式 用了 RL 吗 动作策略的监督信号是什么 π₀（2024） flow matching 行为克隆 否 记录下来的机器人动作 π₀.₅（2025） 交叉熵 + flow matching 监督训练 否 记录下来的动作 token / 连续动作 π₀.₆ 在 π₀.₅ 上加大主干、丰富条件输入（π*₀.₆ 的基座） 否 记录下来的动作 π*₀.₆（用 RECAP 训练） 离线 RL 预训练 → SFT → 迭代式离线 RL 是 演示数据 + 模型自己跑出的经验 + 人类干预，加上 reward / value 架构是连续演进的，叠加上去的是新的训练范式：\nπ₀、π₀.₅：学人当时做了什么。 π*₀.₆：还要学哪些经验更好。\n这件事有个直接的商业含义，第 4 节要用到：客户不需要更换模型架构，就能接入一个 RL 化的数据服务。 接入门槛几乎为零。\n【技术盒｜非技术读者可跳过】\nπ₀ 的训练目标是条件 flow matching：把演示动作加噪，训练网络还原出演示动作的分布。整个过程中没有 Q(s,a)、没有价值函数、没有 reward 最大化。π₀.₅ 架构上更复杂（离散 FAST 动作 token + 连续动作专家，损失是交叉熵加 flow matching 两项），但学习范式仍然是监督的——它的预训练可以还原成标准的 VLM 式 token 预测。\nRECAP 的变化在于引入了价值函数，从而可以算出优势（advantage）：\nA(s,a) = Q(s,a) − V(s)\n有了这一项，演示动作就不再被默认当成同等正确。优势大的动作和轨迹，在策略训练中获得更大权重。RECAP 作者自己也说明，初始的模仿学习策略已经能做出合理动作，RL 在此之上提升的是成功率、速度、流畅度和特定失败模式。\nRECAP 把优势用起来的方式相当朴素：把优势二值化，作为一段额外的文本输入喂给模型——正的写 \u0026ldquo;Advantage: positive\u0026rdquo;，负的写 \u0026ldquo;Advantage: negative\u0026rdquo;；推理时只要正的那一档，就得到一个好于数据集平均水平的策略。论文称之为 advantage conditioning，并说明这样做可以绕开 PPO / REINFORCE 这类在线策略梯度方法在大 VLA 上的复杂度。\n奖励也用得极省：每一幕只需要一个稀疏的成败标签——这一趟到底成没成。价值函数从这个标签学出\u0026quot;离成功还有多远\u0026quot;，优势再从价值函数导出。\n3.2 两根轴：online / offline RL，和 on-policy / off-policy 数据 这两组词长得像，经常被混着用。分不清，就会得出\u0026quot;既然是 offline，那就不需要真机、不需要场地\u0026quot;这种错误结论——而这个结论会把后面整篇文章推翻，所以先花一段说清楚。\n第一根轴：梯度什么时候算。\nonline RL：一边跑一边更新。机器人每走一步，策略和价值函数实时改一次。 offline RL：攒一批再更新。跑一批存下来，回头在这批数据上重训一遍模型，然后拿新模型再去跑。 第二根轴：数据是谁走出来的。\non-policy 数据：由当前这个模型自己跑出来的。 off-policy 数据：别人走出来的——人的演示、遥操录制，或者这个模型好几个版本之前留下的旧数据。 关键在于：这两根轴互相独立。 你完全可以用 offline 的算法去训 on-policy 的数据——模型十分钟前刚在真机上跑出来的东西，攒进缓冲区，回头离线算梯度。\n还是用开车说：\n第一根轴是教练什么时候讲评：你每压一次线当场吼一嗓子，还是开完一整圈回来一起复盘。 第二根轴是在讲评谁开的车：你自己刚开的那圈，还是老司机三个月前的录像。 同一个教练，两件不同的事：伸手打方向，是往数据里加东西（第二根轴）；回来复盘，是更新模型（第一根轴）。教练开完一圈才复盘（offline），讲评的仍然是你自己刚开的那圈（on-policy）——这两件事一点也不矛盾。\n摆成一张表：\n数据由模型自己跑出来（on-policy） 数据是别人走的（off-policy） 实时更新（online RL） PPO / REINFORCE——论文明确说自己避开了这条路 （本文不展开） 攒一批再更新（offline RL） RECAP 的迭代阶段在这一格 π*₀.₆ 的预训练阶段：在演示数据上做离线 RL π*₀.₆ 用的是论文自己的说法：iterated offline RL（迭代式离线 RL）。论文在讨论章节里讲得很直白——RECAP 做的是迭代式的\u0026quot;离线\u0026quot;更新，即收集一批数据、重训模型、再重复，而不是策略和价值函数随数据实时更新的全在线 RL 循环；全在线被列为未来工作的方向。\n但同一篇论文的摘要里，描述数据来源用的词是：演示数据、来自 on-policy 采集的数据、以及自主执行过程中专家遥操作的干预。\n所以一句话：\n算法是离线的，数据是模型自己跑出来的。\n对本文来说，重要的是后半句。\u0026ldquo;offline\u0026rdquo; 从来不意味着\u0026quot;不需要真机、不需要场地\u0026quot;——决定这件事要不要物理场地的，是经验由谁生成，不是梯度在什么时候算。\n而且梯度在离线算，对第 4 节反而是好消息：如果必须严格实时更新，训练就得和机器人物理绑在一起，交付物只能是一个训好的模型；正因为更新是攒一批再离线做的，交付物才能停留在数据 payload 上。这是脑训练中心能作为一门外包生意存在的前提。\n3.3 为什么再采 10 倍遥操数据也没用 一个很自然的反应是：那我多买点数据不就行了？把遥操采集的量翻十倍，总能覆盖到吧。\n覆盖不到。这是全文最要紧的一步推理。\n模型跟着人的演示数据学。上线自己跑的时候出一点小偏差，就落到一个演示数据里从来没出现过的状态上——因为演示者不会犯这个错。它在这个状态上没见过任何示范，于是偏得更多，下一步落到更陌生的状态，误差沿着任务时长累积。\n这是模仿学习里最扎实的经典结论之一（Ross \u0026amp; Bagnell 2010；后续 DAgger 工作 Ross, Gordon \u0026amp; Bagnell 2011）：行为克隆的误差不是随任务步长线性增长，而是平方增长。\n用大白话说：\n只看老司机的行车记录仪学开车。老司机永远开在车道正中间，所以录像里没有一帧是\u0026quot;车已经压线了该怎么救\u0026quot;。你自己上路一压线，就傻了，越修越偏。\n想学会救车，只能你自己开，在你快压线的那一下让教练伸手打一把方向。\n教练打方向的那一下，就是最贵的数据。\n由此得到一个非常锋利的推论：\n模型最需要帮助的那些状态，按定义就是人的演示数据不包含的状态。再采 10 倍遥操数据，也覆盖不到它们。\n这一句话同时干掉两件事。\n它给第 1 节的红海一个比\u0026quot;环境太干净\u0026quot;硬得多的死因：不是场地搭得不够真，是\u0026quot;人替机器人走一遍\u0026quot;这个品类本身有天花板。把场地搬到工厂、搬到家里，只要还是人在开，就还是老司机录像，只不过录像的背景变复杂了。产量再高也翻不过这堵墙。\n它同时给了第 4 节一个不可反驳的必要性：要拿到那些状态的数据，只能让模型自己开进去。没有第二条路。\n3.4 于是\u0026quot;大脑在环\u0026quot;是唯一解 这正是 3.2 的第二根轴。本文后面固定用这套说法：\n本文固定用词 技术说法 大白话锚点 人替它走出来的数据 off-policy / 演示数据 看老司机的行车记录仪 模型自己走出来的数据 on-policy 数据 你自己开车 接管点 人类干预 / intervention 教练伸手打方向的那一下 大脑在环 客户模型 π_θ 在线推理 客户的模型自己开，人在旁边守着 所以\u0026quot;客户的大脑必须部署在环\u0026quot;不是一个产品设计上的偏好，是物理上的唯一解：状态分布必须由客户那个模型生成，别人代替不了。\n3.5 那么，模型到底学到了什么？ 前面四节讲的都是机制：为什么必须是模型自己走出来的数据，为什么这件事只能在物理场地上发生。最后看一眼结果——这套训练在模型里究竟长出了什么，以及它值多少钱。\n除了\u0026quot;该做什么动作\u0026quot;，π*₀.₆ 还带一个价值函数：它预测的是\u0026quot;从现在这一刻起，离把任务干成还有多远\u0026quot;。论文把这个数归一化到 −1 到 0 之间，0 就是干成了。\n把这条曲线画出来，是这样的：\n左边是一次成功的折衣服。中间有一段，机械臂抬手把已经叠好的衣服又搓皱了——曲线立刻掉下去（红）；后面它自己缓过来重新叠好——曲线升回去（绿）。右边是一次没干成的活儿（开冰箱、取滤芯）：开门那一下曲线抬起来，最后碰倒了滤芯，曲线又掉下去。\n关键是，这条曲线不是人事后标注的，是模型自己算出来的。 论文的原话是，价值函数正确识别出了这一幕里的失误，也识别出了进展的快慢。\n也就是说，脑训练中心真正在教模型的，不只是多会几个动作，而是判断力——让它自己知道，此刻这一步是在往成功走，还是在往失败走。\n这件事对整个商业模式的意义比它看上去大。一个有判断力的模型，才谈得上自我改进：它能给自己每一步打分，才能知道哪些经验值得学、哪些该躲开。脑训练中心卖的与其说是数据，不如说是让模型长出判断力的那批经验。\n而判断力只能从\u0026quot;干砸过\u0026quot;里学。价值函数要学会\u0026quot;把叠好的衣服搓皱是件坏事\u0026quot;，训练数据里就得真有搓皱这一幕，以及它后来到底成没成。这正是 3.3 说的那件事：这一幕，人在演示的时候不会给你——老司机不会把叠好的衣服搓皱，所以录像里没有这一帧，也就没有任何东西可以告诉模型\u0026quot;这是坏事\u0026quot;。\n那么这一段训练值多少钱？\n论文用的指标叫 throughput：每小时完成多少次任务。它同时包含成功率和速度——对真实作业来说，做得对但慢得离谱，和没做成差别不大。\n四个任务上，加了真机经验和人类干预这一段之后，throughput 大约翻倍。论文的说法是 increases throughput by about 2×，在最难的几个任务上\u0026quot;每小时的成功次数翻倍以上\u0026quot;，失败率下降 2 倍以上。它跑到的稳健程度是：连续做 13 小时浓缩咖啡，在一个没去过的房子里连续折两个多小时衣服不用人管，装出来的箱子是工厂里真拿去打包的。\n图里最值得看的是横轴那几级台阶——π₀.₆ 预训练 → π*₀.₆ 离线 RL 预训练 → 加 SFT → 最后是 Ours。前面几级用的都是已有的演示数据，在机房里就能做完；只有最后那一跳，需要模型自己开着真机器人跑、需要人在它失败的时候伸手。\n那一跳，就是脑训练中心要卖的东西。 它也恰好是整条训练流水线上，唯一一段花钱也买不到现成数据的。\n4. 脑训练中心：交付的还是数据，但数据的结构变了 现在可以把商业模式说完整了。\n我把它叫作脑训练中心——数采场不再向客户卖轨迹条数，而是提供模型后训练服务：客户把自己的模型（大脑）交过来部署在环，在场地里自己开机器人干活；采集员不再演示，而是在模型失败时接管，并演示一遍专家轨迹。\n最终交付的仍然是数据 payload。这一点很重要：它不要求数采场具备训练模型的能力，是一个数采场能力半径之内的转型，不是改行。\n这里要先堵一个误读，否则整个模式会被当成不可能：\u0026ldquo;大脑在环\u0026quot;说的是模型要在这个环里跑起来，不是要把权重交出去。 至少有三条路绕开这件事——\n推理留在客户那边。 场地只上传观测、下行动作，模型跑在客户自己的机房里。代价是链路时延，任务越接近实时越吃紧。 权重装在客户交付的推理设备里。 场地拿到的是一个盒子，有物理接触，没有文件。 客户驻场。 人和机器一起进场，场地只提供场景、机器人和采集员。 走哪一条是工程和商务问题，不是这个模式成不成立的前提。\n变的是数据的结构。\n遥操数采 脑训练中心 谁在开机器人 采集员全程 客户模型全程，人只在失败点接管 数据单元 (观测, 动作) (观测, 动作, 成功/失败, 接管点, 专家纠正轨迹) 数据分布由谁决定 场景脚本 模型当前的失败分布 失败的那部分 废品，重录 资产，带负向信号 客户能不能验收 只能数条数 一份体检报告：有前测有后测的成功率曲线 计价 每条多少钱 仍然可以按条，或打包成场景包 最要紧的是第三行。旧模式的数据分布由人的脚本决定，新模式的数据分布由模型的失败分布决定。 前者是盲采，后者是有的放矢——你采的每一条，都恰好落在这个模型这一刻走不过去的地方。\n这也是它能卖出溢价的全部理由：不是数据更贵，是每条数据的边际效用被定向提高了。\n这条逻辑推到底，会得到一个和直觉相反的操作原则：遇到机器人老是搞不定的场景，脑训练中心要做的不是绕开它，是专挑它反复练。 换作是要交货的产线，卡在某个环节，第一反应通常是绕过去、先把活干完；但在脑训练中心，模型卡住的那个点恰恰是这一刻最贵的数据所在。同一个\u0026quot;卡住了\u0026rdquo;，两种目标函数下的最优反应是相反的。\n所以计价方式其实不必推倒重来——还是可以按条卖，也可以打包成场景包卖。变的不是怎么收钱，是这一条和那一条不再是同一个东西。（\u0026ldquo;按成功率提升计价\u0026quot;听着漂亮，但成功率的归因太难切干净，不现实。）\n还有一行值得单独说：失败的那部分。\n在模仿学习范式下，采失败了的数据是废品——这条得重录。在 RL 范式下，失败轨迹带的是负向信号，它本身就是交付物的一部分：π*₀.₆ 用的奖励就是每一幕一个成败标签，成和不成都要。\n这直接改写数采场的成本结构。旧模式里没采成的工时是纯损耗，新模式里不是。采集员的工时利用率是被范式换算出来的，不是被管理挤出来的。\n不过有一句实话得说在前面，免得把接管点吹过头。RECAP 论文自己写得很明白：干预是一次打断性的事件，即使熟练的操作员也没法保证每次接管的质量都一致，更没法靠接管去打磨速度和流畅度这类细节。接管数据真正擅长的，是把\u0026quot;整个任务卡死\u0026quot;级别的大错误改掉、帮模型走出探索不到的死角；至于够不够快、够不够顺，还得靠模型自己反复跑、靠成败信号慢慢磨。\n所以\u0026quot;接管点是最贵的数据\u0026quot;说的是它单条的信息量，不是说光靠接管就能把一个能用的模型调成好用的模型。\n一个自然的质疑是：不就是人在旁边接管吗，谁都能做。\n护城河有三条，而且都不在设备上：\n一、客户的模型部署在环，是深度绑定。 遥操数采是一锤子买卖，报价低两毛就换供应商。大脑在环意味着场景配置、评测基线、失败案例库全部跟这个客户的这个模型版本咬合，切换成本很高。它从一锤子买卖，变成了按轮次滚动的长期合作。\n二、场景资产和失败案例库越跑越值钱。 服务过的模型越多，\u0026ldquo;什么样的模型会在什么样的场景上以什么方式失败\u0026quot;这个库就越厚。这个库直接决定诊断质量，而且是新进入者买不到的。\n三、这是最关键的一条——它要求运营方看得懂模型在哪失败。\n回收第 1 节埋的那个雷。按条计价不需要看懂模型，所以门槛为零，所以一百多家挤在同一条路上。而脑训练中心要求你把 2.3 那三件事都做得了：体检要出得了可信的分数，诊断要判断得出这究竟是感知问题还是控制问题，补课要设计得出下一轮该补什么。\n这个模式天然把只想赚数据红利的团队筛出去。 对手里真有具身 knowhow 的团队来说，这不是坏消息——这是过去两年里，第一次有一种商业模式让 knowhow 能被定价。\n5. 重庆：这套东西开始建了 2026 年 9 月 3 日，重庆市人民政府、大渡口区人民政府与原力无限签署合作协议，原力无限西南总部落地重庆大渡口，建设全链条区域总部及场景应用研发中心，深入重庆真实产业现场。\n签约层级本身就是信息：市级加区级，和石景山当年是同一量级的地方产业布局。\n重点推进的是四件事：具身大脑、实景实训、数据建设、场景应用。\n这四件事，正好是前面几节论证下来、一个脑训练中心必须同时凑齐的四样：\n具身大脑——客户的模型得进场自己跑。这是 3.4 的结论：状态分布只能由那个模型自己生成，谁也替不了。 实景实训——场地的身份从数据源换成练习场，这是 2.3。 数据建设——交付物仍然是数据 payload，不是一个训好的模型，这是第 4 节。 场景应用——失败分布的来源。没有真实产业现场，就没有值得练的失败，这是 3.5。 少任何一样，环都闭不上：没有大脑在环，采出来的还是演示数据；没有真实场景，模型跑不出有信息量的失败；不落到数据交付上，这门生意就不是数采场接得住的。\n四件事里，最值得单独说一句的是「实训」。\n它不是\u0026quot;采集\u0026rdquo;，也不是\u0026quot;训练场\u0026rdquo;。实训是职业教育里的词——学生自己上手做，师傅在旁边看着，做错了当场纠正。这恰好就是 2.3 给场地找的那个新身份，也恰好是 π*₀.₆ 那条流水线上最后那一跳的形状：模型自己开，人在它失败的时候伸手。\n从\u0026quot;数采\u0026quot;到\u0026quot;实训\u0026quot;，差的不是修辞，是交付物。\n最后回到开头那块地。\n石景山那个中心，是区政府和企业共建，写在纸面上的目标是年数据交易超 100 万条、三年内形成 50 亿元规模的机器人数据服务市场——计量单位是条。\n重庆这一次，同样是政府和企业共建，但摆在前面的词是实训，是深入真实产业现场。计量单位不再是条。\n这不是同一注。石景山押的是数据卖得出去，重庆押的是模型练得出来。前一注已经开过了；后一注不是猜的——它是 π*₀.₆ 那条流水线自己指出来的方向。\n最后说一句标准。数采的行业标准正在陆续制定，格式、标注、模态、计数、抽检，都能写得很细，也都能测。但我认为真正的标准只有一条，而且它不是技术标准：在没有数据回购条款的前提下，这个场子能不能自己赚钱。 有回购兜着，每一项技术指标达标也说明不了什么——钱是先约好的，不是数据挣来的。没有回购，客户就得自己掏钱，而他只会为一件事掏钱：这批数据真的让他的模型变好了。这条标准对重庆那块地同样适用。到时候该拿这一条来对，不是拿达标率。\n也就回到了开头那场争论。它值得被认真对待的地方，不在于谁骂了谁——而在于它把这条标准提前逼了出来。\n注：本文引用的公开信息 2026 年 9 月初，一位机器人行业创始人在朋友圈公开批评具身智能赛道的上市乱象，认为部分公司靠\u0026quot;攒局\u0026quot;起家、以数采场与关联交易做出收入、并借地方政府与国资投资推动快速上市——据多家财经媒体 2026 年 9 月 10 日报道转述。本文未见该朋友圈原文，所述为媒体转述口径；当事个人与被点名公司的名称本文一律隐去。[链接待补] 被点名一方次日发布的回应声明（不参与无谓口水战、强调真实研发投入与已有两年常态化运营的落地场景）——据同上报道。[链接待补] \u0026ldquo;机器人厂商→数采场→数据回购\u0026quot;这一闭环的机制描述，以及 IDC 统计 2025 年人形机器人出货中商演、科研和数采场景合计占 78.4%——据《数据猿》2026 年 5 月 31 日《谁在为人形机器人的出货量买单？具身智能的\u0026quot;数据\u0026quot;游戏》。IDC 数据系该文转引，本文未直接查阅 IDC 报告原文；该文同时给出的数采场数量口径与本文第 1 节采用的中国信通院口径不是同一统计，正文未混用。[链接待补] 北京首个人形机器人数据训练中心停运、睿尔曼智能撤出、该公司对实验室遥操与远程遥操的成本与数据质量对比，以及某具身智能公司数采业务人士关于无本体数据的说法——据南方都市报 2026 年 8 月 28 日报道。[链接待补] \u0026ldquo;石景山中心为公司数据采集 1.0 版本\u0026quot;\u0026ldquo;千万级轨迹片段\u0026quot;\u0026ldquo;实验室场景\u0026quot;等表述——睿尔曼智能董秘 2026 年 8 月 28 日投资人交流书面问答。[链接待补] 全国已建成具身智能数采 / 训练场 70 家以上、在建及规划 46 家、总布局超过 110 家——中国信通院等，《具身智能训练场研究报告（2026 年）》，2026 年 8 月。[链接待补] 部分数采场开始引入无本体采集模式——Interact Analysis 报告，经南方都市报 2026 年 8 月 28 日报道转述。本文未直接查阅该报告原文。[链接待补] 睿尔曼智能成立时间、主营业务、2026 年 3 月近 5 亿元 C 轮融资、2026 年 8 月启动创业板上市辅导——公开报道及公司公开信息。[链接待补] π₀、π₀.₅ 的训练方式，以及 π₀.₆ / π₀.₆ / RECAP 的方法结构、iterated offline RL 的表述、advantage conditioning、稀疏成败奖励、\u0026ldquo;避开 PPO / REINFORCE\u0026quot;与\u0026quot;全在线 RL 留作未来工作\u0026rdquo;、离线 RL 预训练后再用演示数据做 SFT 的训练顺序、以及干预作为打断性事件且无法保证一致质量或改善速度——Physical Intelligence, π₀.₆: a VLA That Learns From Experience*（本目录 pi06.pdf）。 价值函数曲线图（3.5 节配图）：多任务价值函数预测\u0026quot;距离成功还有多少步\u0026rdquo;，按任务最大长度归一化到 (−1, 0)，0 为成功完成；左为一次成功的折衣服，右为预训练数据集中一次未成功的操作；红色标注价值下降、绿色标注上升；论文称价值函数正确识别出了失误与进展快慢——同上，Fig. 4。 throughput 柱状图（3.5 节配图）：throughput 定义为每小时成功完成的任务次数，同时衡量成功率与速度；RECAP 使 throughput 约提升 2 倍，最难的几个任务上每小时成功次数翻倍以上，失败率下降 2 倍以上；连续制作浓缩咖啡 13 小时、在陌生住宅连续折叠新衣物两小时以上无人干预、所装箱体用于工厂实际包装——同上，Fig. 7、Fig. 8 及正文。 原力无限西南总部落地重庆、与重庆市人民政府及大渡口区人民政府签署合作协议、建设全链条区域总部及场景应用研发中心、\u0026ldquo;具身大脑 / 实景实训 / 数据建设 / 场景应用\u0026quot;四个重点方向——原力无限官网，2026 年 9 月 3 日。[链接待补] 行为克隆误差随任务步长平方增长的结论——Ross \u0026amp; Bagnell, Efficient Reductions for Imitation Learning (AISTATS 2010)；Ross, Gordon \u0026amp; Bagnell, A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning (AISTATS 2011)。 ","permalink":"https://wangyizhou33.github.io/tech-blog/posts/facility/","summary":"北京首个人形机器人数据训练中心停运——倒下的不是一家数采场，是一种数采模式。同样的模式全国还有一百多家在跑：如果回购这层供血停了，还有没有一种活法。","title":"全国数采场怎么活，原力无限重庆打出新模式"},{"content":" 用过 ChatGPT 的人，都见过它补一个词。要看懂世界模型，你得知道另一种补全：补一眼。\n这就是李飞飞的 Atlas，和世界模型的那道补全题。它可能是今年最重要的模型之一——重要之处不在画面更好看，而在它动的是这道题本身。\n一个镜头 1999 年，《黑客帝国》里基努·里维斯向后仰倒躲子弹，镜头绕着他几乎静止的身体转过半圈。这个后来被称作\u0026quot;子弹时刻\u0026quot;的画面，拍摄时用了 120 台静态照相机沿一条弧线排开（也有人从幕后素材里逐帧数出大约 99 台），外加 2 台电影摄影机。每台相机要靠激光定位系统单独对准焦点。为了几秒钟画面，剧组在绿幕棚里搭了一个房间那么大的装置。\n[图 1] 《黑客帝国》子弹时刻的拍摄现场。注意那条 S 形轨道上密密麻麻的相机，以及中间站着的人——那就是尺度。\n2026 年 9 月 1 日，World Labs 发布了新一代世界模型 Atlas。它的演示里有一个几乎一模一样的镜头：一滴牛奶砸进碗里，溅起的皇冠在半空中被冻住，视角绕着它飞过去。\n拍这个镜头的现场是这样的：\n[图 2] 一张桌子、一个灯箱、三部手机夹在魔术臂上。\n27 年，从一个房间到一张桌子。但真正值得讲的不是这个对比，而是中间那一百多台相机去哪了。它们没有消失，是被吸收进模型里变成了一种能力——而 World Labs 认为，这个能力就是整个\u0026quot;空间智能\u0026quot;的地基。\n一、什么叫 \u0026ldquo;AI complete\u0026rdquo; 那是一种什么能力？\n说穿了只有一个字：补。没有相机去过的角度，模型把它补出来。\n这听起来平平无奇——\u0026ldquo;补\u0026quot;这种事，手机输入法天天在做。但这一节要讲的正是：**一件足够难的\u0026quot;补\u0026rdquo;，会逼出真正的理解。**这不是修辞，这是大语言模型已经走通过一遍的那条路，也是 World Labs 押注的全部依据。\n而要讲清楚这条路，得先绕回一个更老的问题：我们凭什么说一台机器\u0026quot;懂\u0026quot;了？\n最早的答案是图灵给的。\n1950 年，图灵在《计算机器与智能》里提出了一个他自己称为\u0026quot;模仿游戏\u0026quot;的测试：让一位人类判官隔着文字，同时跟一个人和一台机器对话；如果判官分不出哪边是机器，那这台机器就算通过了图灵测试。（顺带澄清一个常见的混淆：这跟\u0026quot;图灵机\u0026quot;是两码事。图灵机是图灵 1936 年提出的抽象计算模型，两个概念只是碰巧共用了他的名字。）\n图灵测试给的是一个判定标准：分不出来就算数。\n后来 AI 领域还发展出另一套说法，叫 AI-complete。这个词是仿照计算机科学里的 NP-complete 造出来的，意思很硬：如果解决了一个问题就等于造出了通用智能，那这个问题就是 AI-complete 的。 它说的不是\u0026quot;这题有点难\u0026quot;，而是\u0026quot;这题难到跟整个 AI 问题本身等价\u0026quot;。有意思的是，有人从形式上论证过：图灵测试本身就是一个 AI-complete 问题。\n但判定标准也好，问题分类也好，都不是考法——总不能真把每个模型拉去跟人聊天让判官投票。\n真正好用的考法，就是开头那个字：补。\nIlya 的那本侦探小说 Ilya Sutskever 讲过一个思想实验：\n假设你刚读完一整本侦探小说。几百页的线索、误导、复杂的人物关系。最后一页，侦探把所有人召集到客厅，说：\u0026quot;凶手的名字是——\u0026quot;\n现在，请你预测下一个词。\n要答对这个名字，你不能靠猜。你必须追踪过每个嫌疑人的不在场证明，识别出哪些线索是故意的误导，理解每个人的动机，并且把整本书的叙事同时端在脑子里。\n[图 3] 普通的自动补全在\u0026quot;接词\u0026quot;——依赖局部搭配，续写出\u0026quot;听起来像对的\u0026quot;内容。强大的 LLM 是在解谜。\n这就是关键的一步转折：补全，只要要求足够高，就不再是补全，而是理解。\n输入法补出\u0026quot;就这样吧\u0026quot;靠的是短距离搭配；而要补对\u0026quot;凶手的名字\u0026quot;，模型必须在内部维持一个自洽的世界——谁在哪、谁撒了谎、哪条线索是假的。预测这件事本身没有智能含量，是\u0026quot;预测得足够准\u0026quot;这个要求逼出了智能。\n这就是为什么\u0026quot;猜下一个词\u0026quot;这道看起来无比枯燥的题，能一路长成今天的大语言模型。\n世界模型的那本侦探电影 李飞飞的 World Labs 押的注，是同一道题换个考场。\n把一整部侦探电影放进模型的上下文窗口：人物关系、动机、关键线索、不在场证明、误导信息、时间线、走廊尽头那扇神秘的门。然后你给它下一个指令——\n\u0026ldquo;生成凶手从门后走出的那个镜头。\u0026rdquo;\n[图 4] 要生成这一个镜头，模型必须回答：谁最可疑？哪些线索是误导？门后应该站着谁？这一镜在叙事上是否成立？\n这道题跟侦探小说那道题是同一道。要生成对，模型不能只是把前一帧的像素往后推一点。它得知道门后面是个多大的空间、光从哪来、那个人有多高、他站在什么位置、门朝哪边开——它不是在补全像素，它是在补全世界的状态。\n用 World Labs 联合创始人 Justin Johnson 的原话来定位这件事：LLM 建立在 next token prediction 上，视频模型建立在 next frame prediction 上，而 Atlas 建立在 new view prediction 上。\n这里有个翻译上的坑，必须先说准。\nnew，不是 next。 它不是\u0026quot;顺着时间往下推的那一帧\u0026quot;，而是\u0026quot;你随便指定的任意一个位置\u0026quot;——一个从来没有任何相机去过的位置。是用户在调度机位，不是模型顺着惯性往下滑。\n而模型交出的那张画面，必须同时在空间和时间上都对得上账：绕到侧面，桌子还是那张桌子，杯子还在原位；而且这一眼看到的时刻，跟别的机位看到的是同一个时刻。空间三维加时间一维，业内叫 4D 自洽。\n所以这道题的中文，本文统一叫视角补全：你指定一个从没被拍到过的机位，模型补出那一眼——而且这一眼要跟整个空间、整段时间都不打架。\n一句话对齐三代模型的考法：\n你给什么 模型补什么 补对了说明它懂什么 LLM 一整本侦探小说 下一个词 懂这个故事 视频模型 一段画面 下一帧 懂画面的惯性 世界模型 若干张照片 + 一个你指定的机位 那个机位上的一眼 懂这个空间 二、空间被写进了架构里 上一节讲的是 Atlas 换了哪道考题。这一节讲它怎么把那道题做进架构里。\n答案可以先说：它给\u0026quot;空间\u0026quot;在模型内部留了一个位置。\n为此，官方明说要另起炉灶——而要脱离的对象，正是上一节表格里那两行：\n这些目标要求我们脱离 LLM 和视频模型所用的标准架构，设计一个新的基础架构，作为未来世界模型的地基。\n拆开那个吓人的名字 Atlas 的官方全称是一串唬人的词：多模态自回归扩散 Transformer。但它其实只是四个形容词，World Labs 自己把它们一个一个拆开讲了：\n多模态——它原生处理文字、图像、相机位姿、三维深度图（视频就是图像序列）。关键在第三项：每一张图像和每一张深度图，都绑定一个明确的相机位姿——位姿就是相机在空间里的位置和朝向，也就是\u0026quot;站在哪儿、朝哪边看\u0026quot;。官方的说法是，这让\u0026quot;空间控制成为架构的核心组成部分\u0026quot;。 自回归——一切都是序列，一次生成一个元素，每个新元素都以前面的内容为条件。好处是：每个任务只是一种不同的序列，输入在前，输出在后。重建、生成、仿真在它眼里不是三件事，是三种排列方式。 扩散——用逐步去噪的方式生成，擅长图像视频这类高维连续数据，还能靠调节去噪步数，在速度和质量之间换。 Transformer——主要是大规模矩阵乘法，跟现代硬件契合，是个结实的骨架。 四条合起来，官方给了一个说法：它们使一种基于\u0026quot;空间上下文\u0026quot;（spatial context）的新生成范式成为可能。\n这个词是这一节的全部重点。\n每一张图底下都挂着一个相机 [图 5] Atlas 的架构示意。左边一组是输入（spatial context），右边一组是输出（图像、视频、深度）。看最下面那一排：每一张图像——不管是喂进去的还是生成出来的——底下都挂着一个相机，那是它在三维空间里的位置和朝向。\n上面那些画面可以先不管，只看最下面一排：每一格底下都画着一个三维网格和一个相机锥体。\n意思是，对 Atlas 来说，\u0026ldquo;一张图\u0026quot;从来不是一张孤立的图片，而是\u0026rdquo;从空间中这个位置、这个朝向看出去的一眼\u0026quot;。官方原话是：每张图像都被固定在空间中的一个三维位置上，这就构成了空间上下文。\n对照一下就知道这一步有多要紧。视频模型的输入是\u0026quot;一段像素\u0026quot;，空间得从像素里去猜；而 Atlas 的输入是\u0026quot;位置 + 从那个位置看到的画面\u0026quot;——空间不用猜，它本来就写在输入里。\n这也解释了图上右边为什么能同时长出图像、视频、深度三种输出，而且每一种都各自挂着相机：它们不是三个模型，是同一个序列的三种续法。\n两代模型，两种地基 World Labs 上一代的世界模型叫 Marble。它的地基是一种叫高斯泼溅（Gaussian splats）的格式——可以粗略理解成把一个三维场景存成几百万个带颜色的小光斑，远看就成了一个场景。\n两代摆在一起，区别就清楚了：\nMarble 的地基是一种格式：所有东西都得先塞进小光斑，再从小光斑里出来。 Atlas 的地基是一道题：任意给一个机位，说出你会看到什么。 这里要澄清一个容易传错的说法：Atlas 并没有抛弃小光斑。\n[图 6] Atlas 输出的一个高斯泼溅场景，特意挑了一个刁钻的角度。画面左右两侧那些拉长的、泛着彩虹色的斑块，就是\u0026quot;小光斑\u0026quot;本身——正面看它们叠在一起就是一个正常房间，转到边缘才露出马脚。\n官方对这一步的描述是：点云只是估计出场景的几何，而高斯泼溅让它变得可用。Atlas 把点云上剩下的窟窿补掉，变成一个完整的小光斑场景，可以直接在设备上以高分辨率、高帧率实时渲染。而这\u0026quot;和 Marble 用的是同一种表示\u0026quot;。\n这句话把小光斑的位置说得很清楚了：它是最后一步的交付格式——为了能实时转着看——而不是模型思考问题的方式。所以变的不是输出格式，是地基：小光斑从\u0026quot;必经之路\u0026quot;降级成了\u0026quot;输出选项之一\u0026quot;。\n这个区别决定了天花板在哪。当地基是一种格式时，模型的能力上限就是那个格式的表达力上限；当地基变成\u0026quot;任意给一个机位，说出你会看到什么\u0026quot;时，格式只是最后一步的打包方式，随时可以换。\n而当空间在架构里有了自己的位置之后，一件长期被认为必须分开做的事，忽然可以合并了。\n三、两种病，一副药 Atlas 真正让人觉得\u0026quot;这一步走对了\u0026quot;的地方，是它同时治好了两个一直被分开对待的毛病。过去做三维，有两条互不搭界的技术路线：\n生成（generation），凭想象画。今天绝大多数视频生成模型走的是扩散这条路：训练时把一段干净视频反复加噪声，直到糊成一团雪花，再让模型学着一步步把噪声擦回去；生成时反过来——给它一团随机噪声加一句提示词，让它一层层擦，擦出一段画面。\n[图 7] 一个典型视频扩散模型的完整流程，左边进去的是噪声，右边出来的是画面。你不需要看懂图里任何一个符号，只要注意一件事：从左到右，没有任何一个环节代表\u0026quot;空间\u0026quot;。\n这就是它的病根。模型从头到尾操作的都是像素，\u0026ldquo;那把椅子在三维空间的哪个位置、离镜头多远\u0026quot;这件事，在这条流水线里根本没有落脚的地方。所以它画得出很好看的画面，但你换个角度再问一次，它是重新编一遍——没有任何机制保证两次编的是同一个世界。你从左边看，它补一把椅子；绕到右边再看，椅子换了个样，或者干脆不见了。画面永远是满的，没有窟窿，但前后不对账。\n重建（reconstruction），照着拍到的东西还原。传统做法是先从照片里恢复出场景的几何，再用光线追踪一类的方法算出换个机位该看到什么。忠实，拍到什么是什么；但没拍到的地方就是窟窿。\n[图 8] 左 1 是原图。右边四张，是把相机位置分别向上、下、左、右各挪 20 厘米之后合成出的新视角。那些黑色区域就是空洞——原图那个角度根本没观测到的空间点。注意，只挪了 20 厘米。\n被前景挡住的桌面、物体的侧面和背面、画面边缘之外——原图没看见的，重建就补不出来。它不会骗你，但它也不会替你想。\n一边是\u0026quot;敢画但不可信\u0026rdquo;，一边是\u0026quot;可信但画不满\u0026quot;。行业长期的做法是各用各的，或者硬拼在一起。\nAtlas 的做法是：用同一个模型，一次算完，同时给出两样东西——你指定的那个机位上应该看到的画面（RGB），以及画面里每一个点离你有多远（深度）。看到过的区域它做重建，没看到过的区域它做生成，而这两件事是在同一次计算里完成的，依据的是同一样东西——就是上一节那个\u0026quot;空间上下文\u0026quot;：每一张图都被钉在三维空间的一个位置上。所以补出来的东西，天然和拍到的东西对得上账。\n这就是为什么它不脑补出矛盾：不是它编得更收敛，而是它编的时候，脑子里那个空间是同一个。\n这话还是抽象。看一个例子。\n[图 9] 左边是全部输入：25 张斯坦福校园的照片，每一张都是人站在地面上举着相机拍的——没有一张来自无人机，没有一张来自空中。右边是输出：一张空中鸟瞰。左右两边都标了 Lawn、Quad、Church 三个地标，可以自己对一遍。\n把 [图 9] 和 [图 8] 摆在一起，这一节就讲完了。\n传统方法把机位挪 20 厘米，画面上就已经是一片黑洞。而这里的机位变化是从地面升到天上——一个在原始素材里彻底不存在的视角。按理说这应该是满屏空洞才对：屋顶没人拍过，树冠的上表面没人拍过，楼与楼之间的空隙没人拍过。\n但输出是满的。而且不只是满的——图上那三个地标标签，就是让你自己去验的：\n几何是准的。 Lawn、Quad、Church 在地面照片里只是三张互不相干的画面；到了鸟瞰图上，它们各自落在正确的位置，朝向、间距、连接它们的道路走向都对得起来。模型不是把三张照片拼贴在一起，是把它们放进了同一个校园。 像素是准的。 不是糊成一团印象派的\u0026quot;看起来像个大学\u0026quot;——教堂的拱廊、屋顶的瓦、广场上那几丛棕榈，都能一眼认出是哪儿。 这是纯重建做不到的，因为它没有权限去补没拍到的地方——它只会给你一片黑。这也是纯生成做不到的：让一个视频扩散模型画一张校园鸟瞰图，它能画得很好看，但那会是一个虚构的校园，楼的位置是编的，跟你手里那 25 张地面照片对不上。\n屋顶那部分是补出来的，地面那部分是重建出来的——但它们不是两道工序，而是同一次视角补全的两半。你指定了一个天上的机位，模型把那一眼交出来；至于这一眼里哪些像素来自观测、哪些来自推断，那是我们的分类，不是它的。\n会脑补的，反而更准 看到这里有一个合理的怀疑：一个天天在编东西的模型，凭什么在\u0026quot;准\u0026quot;这件事上被信任？把重建交给它，听起来像是拿精度换观感。\n数字给的答案是反过来的。\n[图 10] 三维重建误差，越低越好。Atlas 25.3，其后依次是 Pi3X 28.7、π³ 34.7、VGGT-Ω 1B 36.4、Depth Anything 3 39.3、MapAnything 47.7。（World Labs 公布的数据。）\n后面那五个对手，全是专门做重建和深度估计的模型——它们不生成、不脑补，只干\u0026quot;照着拍到的东西还原\u0026quot;这一件事。而 Atlas 这个会脑补的生成式模型，在它们的主场上赢了它们。\n这件事值得停一下：**补全不是精度的敌人，反而是精度的来源。**一个只会照搬的模型，遇到遮挡、反光、纹理太平的地方就只能瞎猜；而一个真正理解了这个空间的模型，哪怕那块拍得不好，它也知道那儿本该是什么。\n这正是 Ilya 那个思想实验的结论，在数字上的回声——\u0026ldquo;预测得足够准\u0026quot;这个要求本身，会逼出理解。\n开头那碗牛奶，是同一件事的小号版本：3 部手机，镜头绕飞时经过的绝大部分角度根本没被拍到过，而绕完一圈，那顶皇冠还是同一顶皇冠。《黑客帝国》当年要架 120 台相机，本质上是因为当时没有模型，每一个角度都必须真的去拍——绿幕棚里那条相机弧线，就是\u0026quot;未观测区域\u0026quot;的物理解法：用钱和硬件，把所有角度买下来。\n现在那一百多台相机，被折叠进了模型的先验里。这不是省钱的问题，是能力的位置变了：过去靠采集，现在靠理解。\n四、这条路的终点是机器人 如果只把 Atlas 看成一个影视和内容工具，会低估它。\n想进具身，态度很明确 2026 年 7 月 21 日，World Labs 收购了一家叫 SceniX 的公司——这是 World Labs 成立以来的第一笔收购。SceniX 2024 年成立于纽约，被收购前只有个位数员工，三位联合创始人是 Yunzhu Li、Changxi Zheng 和 Xiaochen Hu。金额没有披露。\n六周之后 Atlas 发布，而 World Labs 在它的能力清单里明确列了一项：机器人仿真 / Real-to-Sim。再往前看，2026 年 2 月 18 日 World Labs 刚宣布了一轮 10 亿美元融资，投资方里有 AMD、NVIDIA、Autodesk、Emerson Collective、Fidelity 和 Sea——注意前三家的身份，它们不是财务投资人，是这条路上的产业方。\n一家不缺钱的公司，把成立以来的第一笔收购花在机器人仿真上，六周后发布的旗舰模型把机器人仿真写进主打能力。这个信号不需要解读。\nSceniX 带来的是什么 SceniX 的自我描述是\u0026quot;用混合仿真造通用机器人\u0026rdquo;。它的核心技术 World Labs 现在叫 R2S2R（Real-to-Sim-to-Real），大白话就是\u0026quot;搬进来，练，再拿回去\u0026quot;：\n搬进来：把真实的机器人、传感器、环境、物体，连同它们之间的交互，一起搬进仿真； 练，再拿回去：在这些仿真世界里训练和评测策略，然后判断——它在仿真里的表现，能不能预测它在真机上的表现。 关键在倍数：一个真实任务，变成上千个可控的仿真世界。物体摆放、机器人状态、观察视角、外观、物理参数、速度、难度，全都可以调。真机上做一次的成本，在仿真里可以做一千次。\n机器人行业最贵的东西是真实数据——每一次抓取、每一次失败，都要占用一台真机、一个场地、一段时间。R2S2R 就是冲着这个成本结构去的。\n两位创始人的背景解释了为什么是这家公司。Yunzhu Li 是哥伦比亚大学助理教授，MIT 博士，之后在斯坦福做博士后——跟的正是李飞飞。Changxi Zheng 也是哥大教授，长期做物理仿真、数值仿真和可形变物体。一个管机器人学习，一个管高保真物理，合起来正好是 R2S2R 这道题。这不是一笔随机的收购。\n他们报出来的结果 收购一周后，World Labs 放出了技术结果，核心是三条：\n任务在仿真里重建之后，策略完全在仿真里训练，零真实训练数据，然后直接迁移到实体机器人上； 有四项任务在真机上连续自主运行一小时，全程无人干预； 仿真里的评测能够预测哪个策略在现实里更好——这意味着可以在仿真里搜索失败区域，而不必在硬件上把每一种失败都撞一遍。 更值得注意的是他们挑的任务：弹性线缆插孔、纸箱折叠封装、试管转移、从密集杂物里挑出细长物体。这些全是传统仿真器最不擅长的——不是刚体的抓取放置，而是会变形、会持续接触、公差极小的东西。要仿真这些，光对上外观和几何还不够，还得对上摩擦、质量、形变、接触，以及机器人本身的标定。\n（需要说明：这些是 World Labs 自己公布的结果，不是第三方基准测试。）\n五、画得像，还是摆得对 这里要回到 [图 9] 那张斯坦福鸟瞰图。\n2026 年 6 月，也就是收购之前，李飞飞发过一篇《世界模型的功能分类》，把世界模型按功能分成三种：\n渲染器（renderer）：预测世界看起来是什么样； 仿真器（simulator）：预测世界在动作发生之后会怎么变； 规划器（planner）：预测该采取什么动作。 [图 11] 三种功能顺次递进：看见世界 → 世界变化 → 决定行动。渲染器只回答\u0026quot;看起来是什么样\u0026quot;，仿真器回答\u0026quot;推了这个杯子之后会怎样\u0026quot;，规划器回答\u0026quot;该推还是该绕开\u0026quot;。\n她在文章里明说，仿真器是那个枢纽（linchpin）——因为只有它能把一个\u0026quot;世界\u0026quot;变成\u0026quot;智能体可以在里面行动、学习、被评测的地方\u0026quot;。她还给了一个很锋利的区分：渲染器的契约是视觉上的，仿真器的契约是结构上的。\n今天绝大多数所谓的世界模型，停在渲染器这一层。它们能生成非常好看的画面，但那份契约只到\u0026quot;看起来对\u0026quot;为止。\n机器人要的是后一种契约。它不需要画面好看，它需要那个杯子的位置是对的。差两厘米，手就抓空了。\n这才是 [图 9] 里\u0026quot;几何是准的\u0026quot;那句话真正的分量。当时它看起来像个画质指标——鸟瞰图里楼的位置对得上。但到了机器人这里，它是分水岭：几何不准的世界模型，画面再漂亮也只能当渲染器用；几何准的世界模型，才有资格当仿真器。\nAtlas 输出的也不只是画面，还有深度。这个东西对做视频的人几乎没用，但对机器人是刚需——机器人不需要一张漂亮的图，它需要知道那个杯子离手有多远。Atlas 输出的是机器人传感器会读到的东西，不是给人眼看的东西。\n路线图因此很清楚：Atlas 负责把真实世界搬进来并且几何精准地补全，SceniX 负责让搬进来的世界能被动手——物理对齐、交互仿真、策略训练与评测，再拿回真机。中间那道 sim-to-real gap，用一个真正理解空间的模型去填。\n已经跑通的，和还没跑通的 [图 12] 从左到右：把真实房间和机器人采集进来（白色线框是拍摄时的机位）；在里面跑物理仿真；然后把同一个任务批量换环境、换光照、换器具，渲染成大量变体。\n**造世界这半边，是跑通了的。**采集 → 补出没拍到的视角 → 物理仿真 → 渲染成千上万个变体，这条链路已经能完整演示。而这恰好是 Atlas 最擅长的那一段——它做的就是\u0026quot;从稀疏的观测里补出一个几何精准的世界\u0026quot;，接进来是顺理成章的事。\n但造出世界，不等于造出会干活的机器人。\n前面那批一小时无人干预的结果，是一个任务一个策略：装箱的策略只会装箱，插线的策略只会插线。而一个真正能用的机器人，还需要几样目前完全没有公开展示的能力：\n通用的操作能力——不是每换一个任务就重训一个策略，而是跨任务都能上手； 听懂指令——人说\u0026quot;把桌上那个红盒子放进筐里\u0026quot;，它得知道指的是哪个； 推理——遇到没见过的摆放和障碍，能想出办法，而不是重复地失败； 记忆与进度追踪——记得自己做到第几步了，别把已经封好的箱子再拆一遍。 这些才是具身智能真正难的部分，而它们和\u0026quot;把世界搬进电脑\u0026quot;是两类问题。\n换个说法：World Labs 现在造出来的是训练场，不是运动员。训练场很关键——没有它，运动员没地方练；但有了训练场，不等于运动员就会出现。\n接下来值得盯的正是这件事：World Labs 和它新的具身团队，能不能在这个训练场上，真的养出一个运动员。\n补全的第三级 回到全文那个\u0026quot;补\u0026quot;字。\nLLM 补的是下一个词，补对了说明它懂这个故事； Atlas 补的是你指定的那一眼，补对了说明它懂这个空间； 而机器人要的，是补一个动作的后果——我伸手推这个杯子，接下来会发生什么。 前两级回答的是\u0026quot;世界是什么样\u0026quot;，第三级回答的是\u0026quot;世界会怎么变\u0026quot;。World Labs 买 SceniX，买的就是从第二级迈向第三级的那一步。而\u0026quot;视角补全\u0026quot;这道题本身对机器人也是现成的：机器人就是一台不断在换机位的相机，每走一步、每转一次头，都在提出一个新的视角请求。\nWorld Labs 在收购公告里那句话说得很干脆：\u0026ldquo;Robotics is where spatial intelligence becomes physical.\u0026rdquo;（机器人是空间智能变成物理现实的地方。）\n结尾：一个赌注，还没到兑现的时候 Atlas 目前是早期访问，能生成 1440p、最长 1 分钟的视频，动态能力还很弱。它不是一个\u0026quot;已经赢了\u0026quot;的模型。\n但它把赌注押得很明确了：空间智能也是 AI-complete 的，而检验它的那道补全题，叫视角补全。\n\u0026ldquo;猜下一个词\u0026quot;这道题的历史我们都看过——它一开始只被当成一个补全工具，被认为学不到真东西，直到规模上去之后把整个语言领域一口气吞了。World Labs 赌的是同一个形状的故事：如果视角补全足够通用，那么把它做到极致，重建、生成、仿真、乃至机器人的物理常识，都会作为副产品掉出来。\n这个赌注可能不成立。也许空间的规律没那么容易被一道补全题榨出来，也许动态和物理需要完全不同的地基。\n而三级补全，眼下只兑现了两级：补一个词，已经把整个语言领域吞掉了；补一眼，Atlas 刚刚证明它做得到；至于补一个动作的后果——那个能在现实里真的把活干成的机器人——训练场刚搭好，运动员还没上场。\n但至少现在，一件 27 年前需要一整个绿幕棚才能做到的事，被一张桌子上的三部手机做成了。而做成它的方式，不是造了更好的相机。\n资料来源 Atlas 官方发布：Atlas: A World Model for Spatial Intelligence — World Labs 图 1、图 2 截自 World Labs 与 a16z 的访谈（Martin Casado 对谈 World Labs 创始团队）：Why World Models Could Change Robotics, 3D, and Creativity SceniX 收购公告：World Labs Acquires SceniX R2S2R 技术结果：Building Worlds That Train Robots — World Labs 渲染器/仿真器/规划器的三分法与\u0026quot;仿真器是枢纽\u0026rdquo;：A Functional Taxonomy of World Models — Fei-Fei Li / World Labs，2026 年 6 月 3 日 10 亿美元融资公告：World Labs Announces New Funding，2026 年 2 月 18 日 \u0026ldquo;new view prediction\u0026rdquo; 的定位与 Justin Johnson 表述：World Labs Atlas bets on new view prediction — StartupHub.ai 发布报道：Fei-Fei Li\u0026rsquo;s World Labs debuts Atlas — SiliconANGLE SceniX 背景：Fei-Fei Li\u0026rsquo;s World Labs buys SceniX to push into robotics — Dealroom Ilya Sutskever 的侦探小说思想实验（2023 年 GTC 与黄仁勋对谈）：Ilya Sutskever Explains How LLMs Being Able To Predict The Next Word Shows Real Understanding — OfficeChai AI-complete 的定义与它同图灵测试的关系：AI-complete — Wikipedia 《黑客帝国》子弹时刻拍摄用机数量：\u0026lsquo;The Matrix\u0026rsquo; Needed 120 Cameras — Cheat Sheet ","permalink":"https://wangyizhou33.github.io/tech-blog/posts/atlas/","summary":"用过 ChatGPT 的人，都见过它补一个词。要看懂世界模型，你得知道另一种补全：补一眼。Atlas 可能是今年最重要的模型之一——重要之处不在画面更好看，而在它动的是这道题本身。","title":"补一个词，补一眼，补一个动作"},{"content":" H 人 u 之 m 于 a 学 n ， s 非 必 d 千 o 例 n ， ' 举 t 一 足 n 矣 e 。 e d a t h o u s a n d e x a m p l e S s k i t l o d l A e I a r n s o m e t h i n g . T h e y m o s t l y n e e d o n e . 〇、TL;DR 具身智能的 ChatGPT 时刻，真的要来了。\n外行看热闹——机器人又会叠衣服了、又会煎蛋了，一年也能刷出几十条这样的视频。内行看门道：判断是不是真的\u0026quot;阶跃\u0026quot;，只看一件事——机器人有没有长出 in-context learning（ICL）。\n这件事在语言模型那边已经完整发生过一遍，就是从 BERT 到 ChatGPT。\nBERT 时代：想让模型会一件新事，得拿这件事的数据去微调它。任务被写进了权重里。 换个任务，重来一遍。 ChatGPT 时代：想让模型会一件新事，在提示词里给它两个例子就行，模型一个参数都不改。任务被写进了上下文里。 任务的位置从权重挪到了上下文。就这一挪，模型从\u0026quot;一个任务训一个模型\u0026quot;变成了\u0026quot;一个模型接无数任务\u0026quot;——所谓 ChatGPT 时刻，机制上就是这么来的。\n机器人现在刚走到同一个分水岭上。\n相当于 BERT 的那条路，已经走了两年：拿一个开源基座（比如 π0.5），在自己场景的数据上微调一版。国内目前绝大多数团队在做的是这件事。任务仍然写在权重里。 相当于 ChatGPT 的那条路，刚刚才有人走通：给模型看一段人做这件事的录像，它当场照着做，参数一个都不动。那段录像就是提示词。 就是 Generalist Robotics 和 Skild AI 这两家，这件事叫 physical prompting。 这不是一场势均力敌的分岔——一条路上挤满了人，另一条上目前只有两家。 这篇讲的就是那两家做对了什么。\n而两条路的差别，不是效果好一点差一点，是量级上的差别——一个是\u0026quot;回去训一版\u0026quot;，一个是\u0026quot;现场演示一遍\u0026quot;。\n（微调本身没有错，BERT 当年也很能打。问题在于它的天花板是固定的：每多一个任务，就得多训一版。）\n一、先看一个画面 一个工人戴着一副采集设备，站在真实的工作台前，把一件商品装进箱子、封好、贴上标签。全程五分钟。他没有操作任何设备，就是正常干活。\n旁边的机器人看完这五分钟的录像，直接开始做同样的事，并且做对了。\n这里最反直觉的一点是：机器人的模型，一个参数都没有改动。 那五分钟的录像不是\u0026quot;训练数据\u0026quot;，它是被直接塞进模型输入里的——就像你给 ChatGPT 一个例子，它照着办。\n这不是设想。就在刚刚，Generalist 和 Skild AI 两家实验室展示了最新的成果。\n二、过去两年在补的课：数据 过去两年，机器人学技能主要靠两种数据。\n第一条路：遥操作 人拿着手柄或穿戴设备，远程操纵机器人做一遍任务，全程录下来，机器人照着学。\n它有一个唯一且不可替代的好处：录下来的是机器人自己的关节数据，可以直接拿去训练动作。\n但代价很重。遥操作要有真机、要有操作员，一小时只产出一小时数据；操作员隔着延迟和界面干活，动作慢而别扭；更要命的是，真机搬不进真实场景，绝大多数遥操数据是在\u0026quot;数采厂\u0026quot;里采的——布置好的工位、固定的那几十种物体。采到的是一个搭出来的世界。\n第二条路：第一人称操作数据 人戴一副带摄像头的设备，在真实环境里正常干活，全程第一视角录下来（ego-centric）。\n行业今年已经普遍意识到这条路的价值，理由很直接：\n采集效率高。 人自己的手比遥操作方便太多——不需要真机，不需要培训操作员，一个人正常干活就是在采数据。 是实景。 不用把场景搬进数采厂，直接在门店、仓库、厨房里采。 泛化性好。 因为真实——真实的光照、真实的杂物、真实的意外。 这门课补对了，而且 ICL 之后更对 in-context learning 出来之后，这批数据不但没贬值，反而多了一个用途。\n训练的时候，它是预训练语料。到了部署现场，塞进模型上下文的那段演示，本身就是一段第一人称的人类操作视频——第三节那个给植物上盆的例子，21:22 录完的就是这个。\n同一种数据，训练和部署两个位置都用得上。 这两年往第一人称操作数据上押的功课，没有白补。\n但数据补不上另一件事：怎么告诉它\u0026quot;现在要干哪件事\u0026quot; 数据决定的是模型见过多少种东西。它决定不了另一件事：到了现场，你怎么把\u0026quot;现在要干这一件事\u0026quot;告诉它。\n这件事听起来像细节，其实是过去两年真正卡住的地方。因为老办法只有两个入口：\n入口一：写进权重(finetuning)。 采这个任务的数据、训一版模型。任务就锁在权重里了，换一个任务，重来一遍。这就是第零节说的 BERT 做法。 入口二：给一句话(language prompt)。 \u0026ldquo;把方块扫进碗里。\u0026rdquo; 这条便宜，但一句话说不清楚物理动作——怎么捏、用多大力、先动哪只手、卡住了怎么办。语言天生表达不了这些。 一个太贵，一个太窄。 而且这两个入口的宽度和数据量无关——再堆十倍数据，第一个入口还是一个任务一版，第二个入口还是那一句话。\n所以真正的问题不是\u0026quot;该采哪种数据\u0026quot;，而是：有没有第三个入口？\n三、今年的转向：in-context learning Generalist Robotics 的 GEN-1.5 和 Skild AI 的 S1 刚刚给出的答案，方向高度一致：in-context learning。\n两家分别做了什么 Generalist GEN-1.5（2026 年 8 月）的博客标题本身就是结论：Embodied Foundation Models are One-Shot Learners。塞进上下文的那个东西，他们叫 physical prompt——一段\u0026quot;看到的画面 + 做出的动作\u0026quot;的示例。3 到 12 秒的一次演示，不做任何参数更新，模型在没训过的任务上平均成功率 59%。 演示可以是人直接用自己的手在机器人的摄像头前做一遍，做完机器人立刻复现。\nSkild S1 说得更彻底：这个模型\u0026quot;从一开始就是按 in-context learner 造的\u0026quot;。任务不用语言描述，只用一段视频演示来指定。 他们报出来的最长案例是十分钟量级、且训练数据里从未出现过的任务——给植物上盆、做手冲咖啡、煎饼、装配套件。\n（两家叫法不同：Generalist 叫 physical prompting，Skild 叫 in-context learning，说的是同一件事。本文统一用 physical prompting，大白话就叫会现学现用。）\nSkild 有一句话把机制讲得最清楚：预训练是外循环，教的不是\u0026quot;怎么做这件事\u0026quot;，而是\u0026quot;怎么从例子里学\u0026quot;；到了现场，那段演示驱动内循环，一个参数都不动。\n这就是开头图 1 的机器人版：任务从权重里，挪到了上下文里。\n快到什么程度：一条真实的时间线 上面说的都是机制。真正让人有体感的，是 Skild 记的一次部署——给植物上盆，一个训练数据里没有的任务：\n从材料送到办公室，到机器人自己开干，总共 33 分钟，其中大半时间还花在搬家具、布置场景上。Skild 自己强调的数字是：从开始录演示到机器人自主执行，11 分钟。\n对照一下老流程：同一个新任务，先几个小时遥操作，再跑一次针对这个任务的微调，然后才谈得上部署。\n33 分钟和几天，不是同一件事的快慢，是两种做法。\n一条曲线，比任何演示视频都重要 Demo 视频是可以挑的，曲线不行。\nSkild 做了一组很直白的对照，问的是一个能算账的问题：在模型没见过的新任务上，上下文里的一段演示，抵得上多少次（用于微调的）示教？\n两条线放在同一张图上——\n横平的那条：in-context learning。它根本不训练，只是在上下文里拿到一段演示，所以是一条水平线，停在 66%。 爬升的那条：老办法。语言指令 + 拿这个新任务的数据做微调（SFT），横轴是喂进去的示教次数，从 1 次一路加到一千多次。 微调那条线要爬到和\u0026quot;一段演示\u0026quot;齐平，大约需要 380 次示教。\nSkild 补了个换算，把这个数字变成体感：对四分钟以上的长任务，采 380 次示教相当于 50 到 100 小时的遥操作。\n同一个新任务，两条路摆在面前：一边是让人对着机器人重复做三百多遍、再训一版；另一边是录一段演示塞进上下文，当场开干。\n但这条曲线也说了另一半话 示教次数继续往上堆——一千次以上——微调能到 86%，反超 in-context 的 66%。\n老办法没有输，它只是变贵了。\n这一点必须说清楚，否则整篇就成了吹。真正变的不是天花板，是起步价：\n过去让机器人会一件新事，起步价是几十小时遥操作，加一次训练。 现在起步价是一段演示。 这和 BERT 到 ChatGPT 那一步是同一件事。GPT-3 刚出来的时候，在很多具体任务上并不比精调过的 BERT 强；它改变的是，\u0026ldquo;让模型会一件新事\u0026quot;的门槛从标一个数据集降到了写两个例子。门槛一塌，能做的事情的种类就爆炸了——不是因为每件事做得更好，而是因为值得一做的事情突然多了几个数量级。\n判断一次\u0026quot;阶跃\u0026quot;是真是假，看的就是这个：门槛塌没塌。\n四、模型到底读懂了什么 第三节说的是\u0026quot;这件事是真的\u0026rdquo;——时间线在，曲线在，数字在。\n但还有一个更要紧的问题没答：模型从那段演示里，到底读到了什么？ 是把画面记下来照着重演一遍，还是真的看懂了\u0026quot;这件事要达成什么\u0026quot;。\n这两者在顺利的时候看不出区别。只有在演示本身不完美、或者演示和现场对不上的时候，才分得出来。\n演示本身是错的，它反而做对了 Skild 记了一个现象，比任何成功率都更能说明模型在干什么：塞进上下文的那段演示，有时候本身就是错的。\n有一段演示里，示范的人手滑，鸡蛋提前掉了下去，摊了一桌子。S1 做到同一步的时候，做出来的是一个受控的放置动作。\nSkild 的原话是：模型把演示当成的是**\u0026ldquo;目标的说明\u0026rdquo;，而不是\u0026quot;要照抄的轨迹\u0026quot;**（a specification of the goal, not a trajectory to reproduce）。\n同一类现象还有：S1 失败的时候，倾向于再试一次，而不是闷头往下走。\n这两件事听着像小事，其实压着一条很深的分界线。\n照抄，还是算账 用两句大白话说清楚这条线：\n照抄式的学法：数据里那个人当时怎么做的，就是标准答案。模型的任务是把答案背得越像越好。演示里人把鸡蛋摔了，那\u0026quot;摔鸡蛋\u0026quot;就是标准答案。 算账式的学法：数据里那个人当时怎么做的，只是**\u0026ldquo;在那个情况下，恰好有人这么做了\u0026rdquo;**——它不是标准答案。真正要问的是：这么做下去，后面会变成什么样？ 好，就学；不好，就不学，甚至反着学。 差别的关键，在于要不要往后看一步。\n照抄不往后看，它只关心\u0026quot;这一帧该输出什么动作\u0026quot;。算账必须往后看，它要问\u0026quot;做完这个动作，眼前会变成什么样，那个样子好不好\u0026quot;。\n摔在桌上的鸡蛋，是往后看一步就能看出来的坏。\n给技术读者： 这就是 supervised behavior cloning 和 offline RL 的分界线。\nBC 把数据集里的动作当作 ground truth 标签，学的是 $\\pi(s) \\approx a_{\\text{dataset}}$。\nOffline RL 不把记录下来的动作当真值——它只是\u0026quot;在状态 $s$ 下恰好被执行过的一个动作\u0026quot;，最优动作完全可能是另一个。它要的是 $\\pi(s) = \\arg\\max_a Q(s,a)$，其中 $Q(s,a) = r(s,a) + \\gamma\\,\\mathbb{E}[V(s^{\\prime})]$。\n关键在那个 $s^{\\prime}$：offline RL 会对\u0026quot;动作之后发生了什么\u0026quot;做推理，BC 通常不会。\n需要说明的是，Skild 并没有公布 S1 用的训练目标。这里讲的是行为层面的分界线，不是对它训练算法的断言。\n演示没错，但和现场对不上 演示本身有瑕疵，是一种情况。另一种情况更常见：演示是好的，只是现场和录演示的时候不一样了。\n看它这时候干什么：\n演示里用的是水壶，现场只剩一个杯子——S1 拿杯子浇。 演示里杯子是空的，现场那杯已经快满了——S1 只添了一点。 GEN-1.5 那边，一个把方块扫进碗里的任务，模型在没有更好的工具的情况下，使用了香蕉作为工具。当碗的上放被盖了一张纸，模型会用另一只夹爪提起纸。 这些动作，演示里一个都没有。纯靠模仿是做不出来的，因为模仿的对象里压根没有这个动作。 它必须先读出演示想达成的目标，再判断手边这个不一样的东西能不能达成同一个目标。\n即兴发挥(improvisation)，是脑子存在的证据。\n即兴不是轶事，是可以量出来的 上面这些都是挑出来的例子，而例子永远可以挑。真正说明问题的是 Skild 做的另一件事：他们把\u0026quot;泛化\u0026quot;拆成两把尺子，分开量。\n一旦模型是\u0026quot;看着上下文里的演示干活\u0026quot;，就必须同时看两个距离：\n尺子一：现场离训练数据有多远。 物体换了、位置挪了、摆得让机器人不得不换只手才够得着——这些偏离预训练分布的情况，模型扛不扛得住。 尺子二：现场离上下文里那段演示有多远。 演示是在某一个场景里录的，真去干活的时候，桌上的东西不可能摆得一模一样。演示和现场对不上，模型还能不能用。 第二把尺子是 physical prompting 特有的——老办法里根本没有\u0026quot;演示\u0026quot;这个东西，也就无从谈起。\n两把尺子都用 L1 到 L5 五档标刻度：L1 是一模一样，L5 是摆放位置刻意选成让机器人有一半动作必须换成另一只手来完成。\n尺子一：越难，差距拉得越开。\n同一批任务，语言指令的模型和 in-context 的模型放在一起比：\nL1（和训练时一样）：89 vs 96，差 7 分。 L5（最难）：33 vs 75，差 42 分。 语言那条是断崖，in-context 那条是缓坡。\n这正好说明\u0026quot;即兴\u0026quot;是从哪儿来的：上下文里那段演示一直在。 现场再怎么变，模型手里始终攥着一份\u0026quot;这件事到底要达成什么\u0026quot;的说明书，所以它有依据去改。而语言指令那边，一句话在 L5 的摆放下能提供的信息，和 L1 时一样多——也就是一样少。\n尺子二：衰减是缓的，不是一脚踩空。\n这一把量的是演示和现场之间的差距：L1 到 L3 几乎没掉（96 → 93 → 89），L4 掉到 75，L5 掉到 46。\n关键不在绝对数字，在这条线的形状是斜坡，不是悬崖。\n如果模型是在照抄演示里的轨迹，那么演示一旦对不上现场，它就该直接崩掉。它没崩，说明它把演示当成的是目标的说明——现场偏一点，它就跟着改一点。这和上面水壶换杯子、簸箕铲方块说的是同一件事，只不过这次有刻度。\n落到实处，这一条决定了 physical prompting 在现场到底好不好用：录演示的人不需要把场景摆得和演示一模一样。 差不多就行——性能是平缓下降的。\n开头那个画面（图 2）——工人干五分钟，机器人看完直接做对，参数一个都没改——就是这件事。\n但也别急着把权重扔了 到这里为止，所有数字都是一次演示、零参数更新——这叫 one-shot。Skild 的 S1 整篇都停在这一档：它不训练，图 4 里那条线才是平的。\n但还有一档他们没做：few-shot——给几分钟数据，再动一点点权重。 Generalist 那边做了这个对照：\n数据量 参数更新 gradient steps 新任务平均成功率 one-shot（纯上下文） 一段 12 秒的演示 0 步 59% few-shot 5 分钟（约 10–50 次演示） 10 步 83% 59% 到 83%，24 个百分点，不是零头。 而那十步动的权重不到 0.15%——几乎没改，但确实改了，改出来的差距还很大。\n图 8 是这个对照的逐任务拆解，十个任务。表里那两个平均数，就是这十根柱子各自平均出来的。而拆开看，有两件事是平均数盖住的：\n第一，few-shot（蓝）在十个任务上全部赢过 one-shot（绿），一个例外都没有。\n第二，差距的分布极不均匀。\n差得最少的是\u0026quot;把手机翻过来\u0026quot;：81% 对 78%，几乎打平。 差得最多的是\u0026quot;用刷子扫垃圾\u0026quot;：100% 对 37%，差了六十多分。 中间还有\u0026quot;拧开玻璃罐盖子\u0026quot;（95 对 60）、\u0026ldquo;拉开笔袋拉链\u0026rdquo;（87 对 55）。 把这十个任务排一排，能看出一点规律——这是我从图上读出来的，Generalist 没有明说：\n差距最大的那几个，都要持续用力或者维持接触——扫、拧、拉拉链、压折痕。差距最小的那几个，基本就是拿起来放下去、或者翻个面——叠杯子、把方块扫进碗、翻手机。\n也就是说：一段演示能把\u0026quot;要干什么\u0026quot;说清楚，但说不清\u0026quot;要用多大力、拧多久、扯多稳\u0026quot;。 这类信息，看一遍是拿不到的。\n（顺带一提，few-shot 那边也不是全线飘红：折纸压痕 70%、把方块扫进碗 71%、叠两个小杯子 75%。十步更新也不解决所有问题。）\n所以话要说老实：现在远没到\u0026quot;可以完全不动权重\u0026quot;的时候。\nphysical prompting 把起步价打下来了，但它目前的水平是**\u0026ldquo;能开工\u0026rdquo;，不是\u0026quot;能交付\u0026quot;**。从能开工到能交付，那几分钟数据和那十步更新，还是得付。\n这一档的名字值得记住——few-shot learner。它大概率才是未来一两年真正落地的形态：上下文负责\u0026quot;这是什么任务\u0026quot;，一点点权重更新负责\u0026quot;在这个现场能做到多好\u0026quot;。 至于 one-shot 会不会一路把 few-shot 也吃掉，再看看。\n别把功劳记错了：即兴是预训练喂出来的 读到这儿容易生出一个错觉——好像\u0026quot;把演示塞进上下文\u0026quot;这个机制本身，就带来了即兴能力。\n不是的。\n这张图的横轴是预训练数据量（1 千小时到 10 万小时，对数轴），纵轴是在训练里没见过的任务上的成功率。\n先看 in-context 那条线：\n1 千小时：几乎是零。 1 万小时：5 左右。 3 万小时：24。 10 万小时：66。 同一个机制，同样给它一段演示，在 1 千小时那个点上什么也变不出来。 即兴不是\u0026quot;上下文\u0026quot;这个通道变出来的，是预训练喂出来的——上下文只是那个把它调出来的开关。\n再看语言指令那条线：从头到尾贴着地板，堆到 10 万小时也才 9。\n两条线合起来说的是一件事：数据要够多，而且得有一个能把数据变成即兴能力的架构。缺哪一样都不行。 同样的数据吃下去，两种架构长出来的东西完全不是一回事。\n这又是 ChatGPT 那个故事。 GPT-3 的 in-context learning 不是谁设计出来的功能，是数据和参数堆到某个规模之后自己冒出来的。BERT 时代那些模型不是不会读提示词，是规模不到，读了也没用。\n所以最后落回一个很朴素的地方：这一切的前提，是又多又杂的预训练数据。 Skild 自己的说法是——遥操作、UMI、第一人称视频、仿真，没有哪一路能在可扩展性、多样性、和硬件的贴近程度上同时占优，所以四路全都在扩。\n\u0026ldquo;杂\u0026quot;不是妥协，是即兴能力的来源。\n五、所以，变的是什么 回到第二节那个问题：老办法只有两个入口——写进权重，太贵；给一句话，太窄。\nphysical prompting 开了第三个：做一遍给它看。\n这个入口有多宽，前面那些数字已经说了——一段几秒到几分钟的演示，抵得上三百多次示教；从材料到货到机器人开工，33 分钟；现场和演示对不上，性能是缓坡不是悬崖。\n但真正变的不是某一个成功率，是谁能把任务交给机器人。\n过去机器人在新场景里不会做某件事，唯一的解法是把问题带回实验室：采数据、训模型、再来部署。现在解法在现场，而且执行的人不需要懂机器人——他只需要会做这件事本身。\n教机器人的门槛，从\u0026quot;会训模型\u0026quot;降到了\u0026quot;会干这个活\u0026rdquo;。\n话也得说回来。这个入口现在还不够宽：一次演示到得了\u0026quot;能开工\u0026quot;，要\u0026quot;能交付\u0026quot;，那五分钟数据和十步更新还是得付。而且这一切的前提，是预训练已经堆到了十万小时那个量级——入口是这几年数据堆出来的，不是谁设计出来的。\n但方向已经清楚了。语言模型那边，从\u0026quot;一个任务训一版\u0026quot;走到\u0026quot;写两个例子就行\u0026quot;，也没用多久。机器人这边，这一步刚刚迈出去。\n六、附：这套东西大概会怎么搭 前面讲的都是\u0026quot;它能干什么\u0026quot;。这一节是给想知道\u0026quot;它是怎么搭出来的\u0026quot;那部分读者的，不看不影响前面的结论。\n先说清楚：Skild 和 Generalist 都没有公开各自的网络结构。 下面这张图是根据两家博客里的公开描述、加上过去几年相关工作推演出来的一种实现方式——是一份设计草案，不是对任何一家的还原。\n设计上的几个核心想法 ① 演示本身就是指令——演示侧不需要语言，也不需要动作标注。\n图左边那块，输入是一段演示视频 D。两个\u0026quot;不需要\u0026quot;很关键：不需要配文字任务描述，也不要求演示带动作数据。 视频过共享视觉编码器（SigLIP + DINOv2）拿到帧 token，再过一层双向时序 Transformer，编码成一条 Demo Memory Z_D——一条 latent tape，把\u0026quot;这件事分几步、每一步大概应该是什么状态\u0026quot;记在里面。\n不需要动作标注这一条，直接决定了演示可以由人来录：人手的关节数据本来也对不上机器人。\n② 演示侧双向，执行侧因果。\n中间那块是执行主干（Execution Transformer，causal），吃当前画面 o_t、本体感知 q_t、之前的动作，外加一个本体 token。它每隔 2–4 层，向 Demo Memory 做一次 cross-attention。\n这个不对称是有道理的：演示是已经完整发生过的事，可以整段来回看；执行是正在发生的事，只能基于已经发生的历史往前走。\n③ \u0026ldquo;做到哪一步了\u0026quot;不是一个状态机，而是与演示的动态对齐。\n执行侧一直在对 Z_D 做 cross-attention。注意力主要落在演示的哪一段，可以理解成模型认为当前最相关的任务阶段。\n而且这种对齐可以往回走——如果中间搞砸了，当前状态又重新对应到前面的阶段，模型可以重新关注更早的 latent token。\u0026ldquo;重试\u0026quot;不一定需要单独写一个纠错模块，而可以从这种动态对齐里自然出现。\n第四节说的\u0026quot;演示错了它反而做对了\u0026rdquo;，在这个结构里也有一定解释空间：模型学的不是逐帧复制动作轨迹，而是从 Z_D 中提取任务结构和目标状态。因此它原则上可以忽略一些与任务无关的动作细节，而不是原样照抄。\n④ 本体 token 管\u0026quot;我是谁\u0026rdquo;，演示管\u0026quot;要干什么\u0026quot;。\nEmbodiment Token 告诉策略要控制哪一具身体，而不是谁做的演示。这是同一个模型能换着身体用的关键——演示可以是人手录的，也可以是另一款机器人录的；真正执行动作的，永远是当前这台机器人。\n⑤ 动作用 flow matching 生成，一次出一整段。\n右边那块不是逐帧回归动作，而是从随机噪声出发，用条件速度场积分出一整段 32–64 步的 action chunk 再执行。这是 π₀ 那一系的路线，好处是更适合建模连续、多模态的动作轨迹，也适合高频控制。\n训练配方比结构更关键 图里第 4 块是我觉得最值得看的地方：怎么造训练数据，决定了模型会不会真的去学 in-context，还是偷懒。\n做法是——同一个任务，配一对 episode：演示 D_i 和执行 E_j 来自不同的场景、不同的视角、不同的本体，而且这个差异是刻意拉大的。\n为什么必须这样？因为如果演示和执行长得太像，模型完全可以退化成\u0026quot;照着画面抄\u0026quot;，根本用不着去理解演示的意图。把两者拉开，模型才被逼着去学\u0026quot;这段演示到底想达成什么\u0026quot;。\n配套还有几个\u0026quot;不给\u0026quot;：不给任务 ID；主训练阶段可以不给语言；不要求演示带动作标注。 每一条都在堵捷径——让演示本身成为最可靠的任务信息来源。\n这也正好对应 Skild 那句\u0026quot;预训练是外循环，教的不是怎么做这件事，而是怎么从例子里学\u0026quot;：外循环学的是\u0026quot;如何读懂 demonstration\u0026quot;；推理时则通过上下文完成 inner loop，不更新权重。\n图里列的\u0026quot;涌现能力\u0026quot;——读懂演示者的意图、跟踪任务进度、从错误里恢复、泛化到没见过的任务——都不一定需要单独做成模块，而希望是这套训练配方下自然出现的能力。\n参考的工作 这张图不是凭空来的，来路是这些：\nICRT（Fu et al., 2024）—— in-context robot transformer：把轨迹放进上下文、不微调。最直接的前身。 One-Shot Imitation Learning（Duan et al., 2017）、One-Shot Visual Imitation（Finn et al., 2017）—— \u0026ldquo;演示 + 当前状态 → 动作\u0026rdquo;，跨任务元学习。 XSkill（Xu et al., 2023）—— 跨本体的技能表示与动态对齐。 MimicPlay（Wang et al., 2023）—— 人类视频 → latent plan → 机器人控制的层次分解。 OpenVLA（Kim et al., 2024）—— SigLIP + DINOv2 的视觉特征组合。 π₀（Black et al., 2025）—— 面向连续轨迹的 flow-matching action expert。 RT-X（2023）—— 多机器人预训练与统一动作空间。 Octo（Ghosh et al., 2024）—— 基于 Transformer 的 diffusion / action chunking。 值得注意的是：One-Shot Imitation Learning 是 2017 年的工作。 这条路线本身一点都不新——新的是第四节最后那张图（图 9）说的那件事：规模到了，它才开始有用。\n本篇讲的是部署现场发生的事：演示进上下文，模型当场照做。\n下篇换一个位置看同一批数据——训练阶段。Physical Intelligence 的思路是把\u0026quot;看到画面\u0026quot;到\u0026quot;手动起来\u0026quot;之间的黑箱拆开，插进几层人能看懂的中间能力：会拆解、会想象、会判断。下篇会说这三样分别是什么、为什么同样一批第一人称操作数据教这三样比遥操作数据教得更好，以及从\u0026quot;一堆录像\u0026quot;到\u0026quot;可训练的原料\u0026quot;之间，那道一直被低估的精标工序。\n","permalink":"https://wangyizhou33.github.io/tech-blog/posts/icl/","summary":"判断具身智能是不是真的“阶跃”，只看一件事——机器人有没有长出 in-context learning。Generalist GEN-1.5 与 Skild AI S1 把一段演示塞进上下文，模型一个参数不改就当场照做。","title":"具身智能的 ChatGPT 时刻，标志是 in-context learning"},{"content":"My name is Yizhou Wang. I hold a Ph.D. from UC Berkeley (2015), and completed my undergraduate studies at the University of Michigan and Shanghai Jiao Tong University.\nAfter graduate school, I spent a decade in the autonomous driving industry, with tenures at NVIDIA, Holomatics, and several other companies. During that time, I focused on the full-stack engineering challenges that come with deploying autonomous systems at scale.\nI am based in the San Francisco Bay Area (Tri-Valley), though since early 2023 I have been splitting my time between the U.S. and China, working with start-up companies on the ground. I make the trip roughly every six to eight weeks and expect to continue doing so for the foreseeable future.\nBy around 2024, autonomous driving had reached a point of relative maturity in the Chinese automotive industry — functional enough that the frontier had shifted. The more pressing open problem became AI infrastructure: how to close the loop between raw data, automated labeling, model training, and production-ready deployment at scale. That challenge drew my attention for a while, but as the field consolidated, I turned toward what I see as the next frontier: general-purpose robotics.\nI currently serve as CTO of Infiforce, a robotics start-up where my work spans model development and data systems. This blog is where I share technical notes, lessons learned, and observations from the intersection of robotics, software engineering, and applied AI. Stay tuned.\n","permalink":"https://wangyizhou33.github.io/tech-blog/about/","summary":"about","title":"About"}]