高阳：会思考的芦苇，会行动的机器｜北坡计划

近两个月，千寻智能*（Spirit AI）*接连完成两轮融资，累计金额达 30 亿。

具身智能正快速成为资本与市场的共识。

当新的热点与叙事不断涌现，高阳的关注点始却始终落回同一命题：如果要实现具身智能的通用基础模型，下一步面临的问题会是什么？如何真正解决问题，推动科学进步？

「北坡计划」第一期，我们邀请了千寻智能联合创始人、清华大学助理教授高阳，围绕具身智能即将进入的 "GPT-3 时刻" 展开讨论，从数据、模型到系统能力，拆解判断背后的技术前提与未来展望。我们也把注意力拉回个体，高阳说：人不过是会思考的芦苇。他不疾不徐，不试图成为某种 "标准答案"，在外部价值期待与个体快乐之间回归自身，坚持内在节奏，展开属于自己的生命力。

欢迎扫码收听完整播客内容。

如果你有任何希望分享的感受，欢迎在评论区留言与我们交流。

播客原文约 25000 字，文章经删减整理后约 4500 字。

Enjoy

"ChatGPT 重塑了我的 AI 价值观"

绿洲： 当年你看到了什么，会觉得这条路径上 VLA*（vision-language-action model）*可能是对的。

高阳： 从历史上来讲，ChatGPT 的出现其实是带给了我、包括当年在 Berkeley 很多老师一个非常大的冲击。以前我们不知道智能在哪里，不知道智能该如何产生。2018、19 年左右，Berkeley 几乎所有老师和同学都不相信 OpenAI 说要大力出奇迹（是真的可以实现的），觉得他们在忽悠人，说一些自己也无法判断的东西。

直到 ChatGPT 3.5 出来之后，我的 AI 价值观被重塑了， 以前的很多假设、预期或是前提，突然在一瞬间就像量子崩塌了一样，它确认了一些东西，然后证伪了另外一些东西。

绿洲： 它坍缩了。

高阳： 对，简单一句话，在今天可能是常识，就是大量数据会造就智能。

动作、语言和图像对于一个模型来讲，本质上它们没有什么太大的区别。在 2023 年那个时间点，结论是很容易推演到动作这个空间的。一旦第一条路走通了，那么立马意味着第二条路、第三条路，在解决相似的问题上一定可以走通，只是需要一些细节内容调整，例如把中间的超参数去调好，就一定可以把模型做出来。

在今天这个时间点，机器人的操纵能力*（Manipulation）*仍然非常弱，很多的噪音说这个东西你们真能做出来吗？但这个问题对两年前的我而言，就一定可以做出来的。

绿洲： 2 年前你就确认了？

高阳： 对，一定可以做出来。

绿洲： 能确认的原因是因为 ChatGPT？

高阳： 因为 GPT 走通了，并且底层来看 40 年前就有通用近似定理*（Universal Approximation theorem）*的理论解释，隐层的神经网络可以拟合世界上任何连续的函数，这个理论在实验里面也被无数次证明。所以大语言模型用这样的方式去解，一定意味着视频、动作，都可以用类似的方式解。

在那一个时刻，其实我们已经非常确定具身模型一定会来。

VLA：2020 年提出并逐步成型的范式，认为可以用统一模型直接从感知到动作进行端到端建模，使系统具备在真实环境中完成任务的能力，是具身智能走向通用的关键路径。

**通用近似定理：**1980 年代后期提出的理论，认为神经网络只要足够宽，就能以任意精度逼近任意连续函数，证明了模型具备充分的表达能力，成为深度学习的理论起点。

明年，具身智能将进入 GPT-3 时刻

绿洲： 当时你对具身智能进入 ChatGPT 3 这件事的推断是需要多长时间呢？

高阳： 23 年的时候，我觉得可能要 5-8 年做到 GPT-3 或者 3.5 左右。

绿洲： 现在你在产业里面干了两年，你们应该是全球范围内在这个方向最领先、中国最靠前的创业团队，那今天你观点变了吗？

高阳：变了，并且是更加提前了，我现在的预测是大概 27 年年初或年中。

绿洲： 那我们现在迈过 GPT-2 了吗，什么里程碑让你确认的？

高阳： 我们现在刚过 GPT-2，标准是说你能看到一些泛化性，但可能没有那么强。

绿洲： 有很多人从不同角度去定义 GPT 时刻，在你来看 2 和 3 分别意味着什么呢？

高阳： 有这样几个维度，效果维度是到了 GPT-3 时刻，在任何场景你跟机器人说任何话都有一些看似智能的回应。

绿洲： 先不管它做得好不好、有没有幻觉，首先肯定已经实现了泛化了，大不了把衣服撕坏。

高阳： 是的。从纯技术的角度，数据量级而言，GPT-2 到 3 大概是 100 倍数据量的增长。

绿洲： 还有其他角度吗？比如语言模型 GPT-2 可能是从理论或者实验室层面证明了 Scaling Law 的存在，但并没有在工程上实现它；GPT-3 的里程碑是真的可以在工程学上实现。那从具身智能角度，这个观点你认可吗？

高阳： 在具身智能层面的 Scaling Law 其实是先于 GPT-3 出现的。因为语言模型领域第一次走这条路的人，他毕竟要摸着石头过河，开始尝试实验的时候，大家迅速发现堆了一次大量数据，模型的确好了很多，但是我也不知道到底做的对不对、也不知道有没有一些东西可以做得更好。

但每实验一次就要等两个月，大家等不起这个时间。所以当时的人会研究，怎么用一些小规模的实验，外推到大规模的情形，这在当时是更理性的选择。

今天的理性判断有些不同，我们知道可能会有 Scaling Law。我们想验证的是当前的方法论在 Scaling 上会不会有风险？因为具身并不像大语言模型，可以免费拿到 100 倍的数据量，你需要付出额外努力去采集、清洗，相当于需要前置投入去创造数据、做 Scaling 了。

绿洲： 这个发展很有意思，因为大语言模型作为 "南坡" 登山者走在更前面，他们的发展反过来给在 "北坡" 具身智能更多信心。因为在 4 千米的时候，他们遇到了雪山或缺氧，所以你们在 2 千米就先准备氧气。以前要到了 GPT3 时刻才会思考的数据问题，现在就思考，其实之后会走得更快，因为有些路他们帮你蹚过了。

高阳： 是的，**我经常说所谓的 History Echo，不是重复、而是 Echo。**从历史的单元模型而言，每次回响都能学到很多知识，包括智驾的发展，相当于我们看到他们在几千米时会缺氧，所以一开始就去避开了这些陷阱。

VLA 与世界模型

绿洲： 如果在当下这个时刻，全球具身智能模型你认为谁是最领先的？

高阳： Physical Intelligence。这里很多信息不透明，但比如 Generalist 展示出的一些行为来看，从泛化性角度还是 PI 的模型会更好。

绿洲： 那今天还有个方向，所谓世界模型*（**World Model）*其实也得到了越来越多的关注，特别是最近 World Lab、AMI Lab 都有很大额的融资。这条路径你怎么看？

高阳： 我先澄清下概念。

VLA 在做的事本质是给出一个对世界的描述，它可以是图像、可以是触觉，我想表现出动作 A，那机器学习的就是语言到动作 A 的一个映射。世界模型在做的，其实是假定当前的描述以及我想做的动作 A，这个 A 也是假定的事实，机器人据此输出下一个状态 S'，它们本质在解的问题不太一样，但这两个概念又是可以互相促进的，都是基于模型的强化学习，在 Model base RL 里被研究得很透彻的东西。他们之间有某种共轭关系，VLA 是行动准则，机器人在世界里去运动，世界模型提供这个世界，让机器去行动，并且告诉下一个状态 S' 是什么样子。

所以再回到世界模型会怎么影响具身智能发展，我觉得短期来讲它是增广数据的方式之一，因为可以在世界模型里做一些动作，可以生成新的数据。但至少今天的生成质量还不足以让模型比较自由地在世界里进行交互，更多作为让 VLA 训练更加稳定的额外损失函数*（auxiliary loss）*给模型约束，使得映射关系变得更容易学。

绿洲： 有没有一种可能，世界模型更加成熟后，生成仿真数据就可以完全替代真实数据来做训练。

高阳： 模型发展依赖于真实世界的数据采集，再放到世界模型里训练，才能让机器跟物理世界的交互更加真实，模型没办法想象出来它没见过的数据。

但不排除大家把世界模型加上真实世界采集数据做联合训练的可能性，使得训练效果变得非常好，以至于可以用世界模型本身产生更多数据，我觉得这是未来方向之一。

损失函数：深度学习模型中，为增强主任务性能而引入的函数，通过优化与主任务相关的次级目标，帮助模型学习更好的表达，特别是在数据复杂或模型深度较大的情况下。

千寻与 PI 在技术选择上的异同

绿洲： 因为 Sergey 是 PI 的联创之一，你们在 Berkeley 实验室的时候有过交集，后来读博士后也是师从一个导师，应该算同门。

那比如像在机器人这个方向的探索上，你们相同和不相同的地方是什么？最后也衍生出千寻和 PI 两家公司，公司在技术路径上又有什么相同和不同？

高阳：Sergey 做机器人比我早许多年，但有 4、5 年的时间大家都不知道什么是正确的。那段时间 Sergey 也有很多尝试，只是还没有今天这么有效吧。

我们之间的异同可能来源于这样几个方面，首先我们都在做 VLA 这种端到端模型训练，关于机器人的记忆机制、当今的网络架构、以及数据主体是源于真实世界等，我们思考都差不多。

但差异的地方在于，一是关于可穿戴式设备的数据采集。我不知道 Sergey 现在有没有变化，他之前是比较反对，而我们是比较拥抱的。哪怕一些折中的机器人数据，我们仍然认为是很好的。

第二点不太一样、但现在慢慢趋同的部分，是对于人类视频数据的使用。PI 之前完全不使用人类的视频数据，但我们用了很多去做预训练。今天的 PI 也逐渐开始使用人类的视频数据了，这点共识是在慢慢收敛了。

"最终极的形态会是一个模型"

绿洲： 现在有人说 VLA 会把运动控制吃掉、也有人说运动控制会反过来把 VLA 吃掉；还有人说你们说的都不对，大语言模型吃掉一切。在这件事情上，你的观点是什么？

高阳： 我认为最后谁也不会吃掉谁。

绿洲： 比如随着具身智能不断发展，假设过了 GPT-3 时刻，那最终你觉得具身智能大模型和我们今天说的大语言模型边界会划在哪里？还是说有可能就是一个模型？

高阳：我倾向于最终极的形态，它会是一个模型。

绿洲： 是非此即彼的关系还是融合的关系？

高阳： 融合的关系。

绿洲： 既然未来是很多模型的融合，有没有可能大家现在都只是一部分？

高阳： 今天大家讨论的端到端，层级里起点和终点是不同的，有人起点可能是 VLA 到运动控制那一层，也有其他的。我认为首先 VLA 和运动控制，未来会是端到端的模型，各个模型有自己的参数，他们相对独立，但彼此之间的交互会是端到端的方式。在最上面一层，就像现在的 Openclaw、我们所谓的推理层等，是一个人几个小时级别的工作流。这一层级现在的发展趋势，就不会是完全端到端的方式，而是模型自己去做一些研究、把内容存储到类似硬盘里，再通过读取数据的方式去理解、继续深入研究。

所以我觉得未来的系统中，越偏底层的部分越会更加端到端紧密地结合起来；越偏上层的部分，越会是像现在这样的 Agent 形态，去做一些宏观的调度。

绿洲： 那就一定有个维度把大家融合在一起，你认为这是什么样的维度呢？

高阳： 它最后是一个在多个时间尺度上的系统，比如说最快的系统就是运动控制和一些条件反射（reflex control），例如碰到东西很烫，手就缩回来了，或者没站稳然后调整一下，这是在最底层；再往上是 VLA 这一层，需要机器人对任务有一些理解。

运动控制的频率大概是 50-100 赫兹，大概每 10 毫秒就需要去微调一下，如果想让机器人更加丝滑，未来甚至会更高。VLA 的频率会更低，现在大概是 10-20 赫兹；再往上的语言其实是非思考模式（Non-thinking Mode），大概 1 赫兹、每秒可以输出 10-20 个 Tokens，人类就有这样的能力；再往上是推理层，可能只有 0.1、0.01 赫兹。他们是在时间上分级的系统。

在人脑里有一些脑电波，不同的波长去作为整合器，把不同的感官信息整合成同一件事情。例如我拿了一个水杯，它有点冰，与此同时我的手能感觉到坠感和压力，它们其实是不同事件整合后，让你感觉到不是三件事情、而是一件事情。我觉得最后模型里也会有一个类似的东西，去跨波长整合这些模型。

非思考模式：指模型在不进行显式推理或多步思考的情况下，直接生成结果的运行模式。对应 Thinking Mode 会进行多步推理或链式思考。

人是会思考的芦苇，和机器没差别

绿洲： 很好奇，你的人生奖励函数是什么，你在追寻的价值是什么？

高阳： 这是一个挺难回答的问题，让我来想一想。

我觉得可能是自我价值感的实现吧。你看到一些事情，你觉得它很有意思，想去追寻它，在过程之中 You feel happy，你实现了自己的价值。

绿洲： 如果有一件事情你很开心但没有价值，还有一件事有很大价值，但你不开心，你会怎么选？

高阳： 我可能会选 I feel happy 的事情。

绿洲： 我也是这么选哈哈， 因为佛教第一要义是 "离苦得乐"，所有东西都为了开心。对一个人的惩罚就是苦，对一个人的激励就是乐，所以开心是唯一的 标准。

高阳：I feel flattered 哈哈。我老婆说我没学过佛，但她觉得我很有修行之类的。

绿洲： 那你做了这么多年机器人的研究，相信在过程里你肯定对自己、对生命有了更深刻的理解。你觉得作为一个生命体，研究带来的启发是什么呢？

高阳： 有很多方面。其中之一是，我觉得人其实也不过是机器。刚才讨论的这些也是我在研究中会想到东西，越来越发现人和机器在很多底层机制上其实是很像的。

这听起来会非常 "非人本"，因为在讲人是一个机器。但从另一个角度而言，我感觉到价值实现的瞬间，会觉得仿佛自己是一根会思考的芦苇。

我说人像一个机器，因为对应于这句话里的 "芦苇"，机器可以被批量生产，它看起来不具备一些特定的价值；芦苇也是，在池塘里一下会长出几万根。但人是会思考的，就像今天中午我们聊到了龙虾，是一个有故事、偏好、喜恶的存在。

无论是芦苇还是机器，其实都是非常特别的。