通向具身智能 GPT-3 时刻的数据路径｜高阳 x 北坡计划

《信号与噪声》北坡计划第一期，我们与千寻智能联合创始人、清华交叉学院助理教授高阳展开对谈。

他给出一个明确判断：到 2027 年年中，具身智能大模型将进入类比大语言模型的 GPT-3 时刻。不过，他认为走向这一阶段的约束条件，核心不在模型本身，而在数据。

我们在播客对话的内容基础上，针对高阳的学术研究做了一些梳理工作。如果有任何想法与建议，欢迎与我们留言交流。

Enjoy

2017 年 Transformer 架构提出。

在后续近十年的 AI 技术演进中，Scaling Law 被视为智能发展的重要底层逻辑、乃至 "第一性原理"。

Jared Kaplan 团队在《Scaling Laws for Neural Language Models》中得出关键结论：**模型性能与参数规模、数据规模、计算量之间存在稳定的幂律关系。当三者同步扩展，能力的提升是连续且可预测的，并在跨越阈值后可以实现跃迁。**这个判断也反应在 GPT-2 到 3 所呈现的工程变化上：训练数据从约 10B tokens 扩展至 300B，参数从 1.5B 提升至 175B，同时数据分布由单一 WebText 扩展为覆盖 Common Crawl、Books、Wikipedia 等多源混合。模型首次跨过 "泛化阈值"，具备稳定的 Few-shot 能力。

至此，共识被确立："大量数据会产生智能"。当数据与模型规模达到一定水平时，能力可以由分布学习自动产生，而不依赖人工结构设计。

但这一规律之所以成立，前提在于语言建模的统计结构：互联网文本提供了近似无限、分布稳定且可重复采样的数据来源，使模型可以通过规模扩展，不断逼近真实分布。当模型容量足够大、数据覆盖足够广时，学习过程从 "拟合具体任务" 转变为 "逼近通用分布"，能力由此才呈现出跨任务迁移与少样本泛化。

回到具身智能模型，这一逻辑并不完全成立。

至少在当时并不成立。

2020 年以前，GPT-3 出现的同一时间窗口，具身系统仍停留在模块化的分层范式中。

如经典的 Hybrid Deliberative/Reactive Architecture 框架所示，任务规划、路径决策与底层控制等分别由不同模块承担，系统通过层级结构完成信息传递与执行。最终性能的呈现，取决于各模块的局部最优，不同模块之间在数据形态、时间尺度与优化目标上并不一致，使得整体难以通过简单扩展，获得统一能力。

换句话说，当语言模型已经进入数据规模化驱动的进化阶段，具身智能仍依赖模块化分拆训练与执行。两者在方法论上存在错位。

Transformer 所代表的统一建模范式，使得这一错位第一次具备改写的可能。

只不过在当时，这也并不是主流思考路径。

2017 年，高阳在 Berkeley 的博士研究期间，以* End-to-end Learning of Driving Models from Large-scale Video Datasets *为题，发表了基于大规模视频数据的端到端驾驶模型，尝试用单一模型，从视觉输入直接映射到控制输出。

在模块化仍占主导的背景下，这一工作证明了视频作为预训练数据的基础价值，并且隐含了另一个更底层的猜想：平移到具身领域，模型也不必依赖 "感知—规划—控制" 的结构化拆分，可以通过数据优化的方式，放在统一模型中推进学习。

判断在当时并未形成行业共识。6 年后，随着 VLA*（Vision-Language-Action）*模型被系统化，逐步成为了具身智能发展的重要方向之一。

沿着高阳当年的判断推进，如果视觉可以直接映射到动作，那么 "动作" 本身是否可以被定义为一种可建模的数据形态？如果动作可以像语言一样被序列化、预测、组合，那么具身智能的问题，将不再是控制器设计问题，变成了统一模型下的数据生成问题。

这正是 VLA 路径的核心判断。它将动作纳入与语言相同的建模框架中，使模型在同一序列空间内同时处理视觉、语言与行为，从而获得跨任务的泛化能力。

不过，一旦定义被重写，底层限制也会随之发生改变。

与语言模型不同，"动作" 并不存在天然的数据供给。真实交互成本高、采集效率低、难以规模化，很快就暴露出 VLA 模型训练下的数据约束：**单位数据效率不足、数据来源受限、整体规模无法扩展。**也正是在这一系列约束的突破过程中，高阳的研究逐步沉淀出后来的 "数据金字塔" 训练策略，让具身智能模型可以更有效地利用多样化数据，持续迭代。

当然，这些结论都是我们的事后总结归纳。

回到当时的 "黑暗森林"，高阳在路径上的探索工作并非一蹴而就，而是对三层约束持续了近 10 年的逐层改写。

第一层约束，是在数据规模无法扩展时，如何提升单位数据的价值。

高阳在 2021 年提出的 EfficientZero 算法，极大提升了强化学习中的样本利用效率。传统方法通过经验回放，重复使用交互数据，但难以从有限轨迹中提取长期决策信息；EfficientZero 通过引入潜在动态模型与跨时间价值一致性的约束，使模型可以在潜在空间中对已有轨迹进行多步展开与反复重估。

在 Atari 100K benchmark 中，该方法仅使用约 10 万步交互数据，就超越了人类的平均表现水平。基于传统 DQN 的方法，通常需要数千万至数亿帧数据才能取得类似结果，数据效率提升达到两个数量级以上。

这一结果说明，数据不足，并不只是规模问题，首先是利用方式问题。

学习过程被重新设计后，数据的有效信息密度可以被显著放大。这一步，相当于在 "数据不可扩展" 的前提下，延缓了系统对规模化的依赖。除了 EfficientZero，高阳还提出了 EfficientImitate 等高性能模仿学习算法，核心目标都是提升样本效率。

不过，策略的边界也是明确的。随着任务复杂度上升，仅靠效率提升无法支撑能力的持续增长，不可避免地会再次回到 "数据从哪里来？" 的问题。

第二层约束随之出现。

从 2023 年开始，高阳团队的工作重心发生了转变：不再假设 "数据必须来自真实交互"，尝试将被动观测的数据，转化为可用于决策学习的训练信号，重新定义了监督信号本身。

例如，团队发表了*Become a Proficient Player with Limited Data through Watching Pure Videos（ICLR，2023）的工作，在无动作标注的条件下，从视频中恢复潜在的动力学信息，使模型能够从纯观测中学习到 "如果采取某种行为，状态可能会如何变化"；2024 年发布的 ATM（Any-point Trajectory Modeling）*工作则更进一步，通过预测视频中任意点的未来轨迹，将原本隐含在像素变化中的物理约束显式化，为策略学习提供近似的动作监督。这篇工作后续被国际机器人顶级会议 RSS2024 接收，获全数审稿人的满分评价。

这些工作的共同特征，是将 "动作" 从标注，转为隐含在状态变化中的结构信息。 换句话说，监督信号不再依赖人工采集，而是可以从环境本身的变化中被恢复出来，将数据供给从 "低频、高成本的交互数据"，迁移到 "高频、可规模化的观测数据"。

这是一次信息密度的重分配：原本集中在少量标注中的决策信息，被扩散到大规模未标注数据中。当模型具备解析这种结构的能力时，互联网视频就成为了具身智能数据的可靠来源。

这一步，实质上打开了数据规模的上限。

此外，高阳在 24、25 年最新的两项研究工作 General Flow 与 EgoMono4D ，进一步完成了从 "可用数据" 到 "可计算结构" 的转化。前者从大规模 RGBD 视频中学习三维 Flow，作为跨任务通用的操作先验；后者则通过多视几何与时序一致性，将第一人称视频重建为包含 Depth、Pose 与 Scene flow 的 4D 表达。在高阳的持续研究中，视频数据从像素序列，变为具备明确物理意义的结构化表示，使模型能够在更高层次上进行推理与泛化。

当数据来源与数据表示同时被重构之后，具身智能才第一次具备验证 Scaling Law 的条件。

如果说前一阶段解决的是 "数据从哪里来"，那么后续阶段，高阳着重解决的是 "模型如何理解数据"，实现了从端到端强化学习*（RL）*转向 VLA、从 "控制" 到 "理解+控制" 的跨越。

2024 年，高阳团队发表 Data Scaling Laws in Imitation Learning for Robotic Manipulation（ICLR 2025），用大量机器人示教和真机验证，系统性地证明了 Scaling Law 在具身智能中是成立的观点：在超过 40,000 条示教数据与 15,000 次真实机器人测试中，模型性能随环境数与物体数，呈幂律提升关系。同时，实验显示在固定采集成本下，增加环境与任务多样性，相较于重复采样同一场景，也能带来更显著的性能提升。

将 "数据规模" 从经验变量转化为可建模变量，模型的性能会随数据增加而波动，并能通过分布设计，进行预测与规划。这一点，与语言模型中 Scaling Law 的作用是一致的，为系统提供了更明确的增长路径。

将这三步放在一起，能看到一条清晰的递进关系：EfficientZero 提升数据效率，使系统在小规模数据下具备学习能力；视频与多模态建模扩展数据来源，使规模扩展成为可能；具身模型 Scaling Law 的验证，将这种扩展转化为可预测的能力增长机制。

重要的是，整条路径并没有围绕模型训练结构等方面单独展开，而是持续围绕阻碍 VLA 工作的底层限制 "数据" 去重构。当行业仍将主要精力投入模型设计与算法改进时，这种沿着 "第一性原理" 将问题下沉至数据层的选择，本身就是一种超前判断。

如果将这一过程与 GPT-2 到 3 的演进进行对照，可以看到结构上的一致性：当数据供给被打开、规模可以持续扩展时，系统能力开始从 "依赖结构设计"，转向 "依赖数据分布"。能力的提升不再来自局部优化，而来自整体规模的跨越。

高阳和团队研究工作的前瞻性，也开始在工程结果中获得反馈。

2025 年 3 月，千寻智能发布的 Spirit v1 在柔性物体操作这一长期被认为难以泛化的任务上取得突破；26 年 1 月，v1.5 版本在 RoboChallenge Table30 真机评测中，超过长期领先的海外模型 PI 0.5 ，成为首个登顶的中国模型；同时，通过自研可穿戴采集设备，千寻智能将数据采集成本降低至传统方案的十分之一，使真实交互数据规模更高效地持续扩展。

反观高阳过去近 10 年的研究，始终贯穿着一种务实的理想主义。

他的 "数据金字塔" 策略，是解决具身模型训练的务实方案；而 "10 年后让全球 10% 的人拥有专属机器人" 的愿景，则是对科学造福人类的理想追求。在这场全球性技术竞赛中，高阳在尚未形成稳定范式的领域、在共识形成之前，完成对关键问题的收敛，无疑为中国团队定义下一代智能范式，贡献了重要的中国智慧。

小宇宙搜索《信号与噪声》收听播客全文

也欢迎关注视频号，感受对谈现场