Physical Intelligence 联创 Chelsea Finn：物理 AI 已经走到自己的 GPT 时刻
让机器人在现实世界里真正发挥作用，到底需要什么？
让机器人在现实世界里真正发挥作用，到底需要什么？
👩 编译: Shirley
🧑🎨 排版: NCon
今年 5 月，「十字路口」编译过英伟达 GEAR 负责人 Jim Fan 在红杉资本的一场演讲《机器人终局，2040 预言》。他将机器人的技术路线概括为「抄 LLM 的作业」，并给出了一份时间表：物理图灵测试约在 2-3 年内达成，机器人抵达终局的时间点是 2040 年。
三个月后的 8 月 19 日，宇树科技登陆科创板，成为 A 股首家上市的人形机器人公司；大洋彼岸的 Physical Intelligence 则是在 2025 年 11 月完成最新一轮融资，对应估值 56 亿美元。资本市场给出了定价，但要让机器人真正有用究竟需要哪些条件，不同团队的答案并不一致。
Physical Intelligence 联合创始人 Chelsea Finn 在 YC Startup School 的这场演讲，则正面回答了这个问题：可靠性、记忆，以及一个无需微调的通用模型，是让机器人在现实世界里真正发挥作用的三大要素。
而在演讲最后，她也为机器人划定了新的坐标：物理 AI 已经站在通用 AI 时间线的右侧，走到了属于自己的 GPT 时刻。
嘉宾背景
Chelsea Finn｜Physical Intelligence 联合创始人、斯坦福大学助理教授。2017 年在伯克利读博期间，她提出 MAML（模型无关的元学习）：训练出一组初始参数，使模型面对新任务时仅需少量样本、几步梯度更新即可完成适应，从而把**「与其为每个任务训练一个专家模型，不如让一个模型具备适应所有任务的能力」**变成一个可优化的目标。
演讲全文
各位好！今天我要谈的是 PI（physical intelligence）最近的一些技术进展。
两年前我创办了一家公司，名字就叫 Physical Intelligence。我们真正感兴趣的问题是：如何让任何一台机器人，在现实世界里完成任何一项任务？
去年我在同一场合讲过一次，分享了当时的一些进展——把洗好的衣物从烘干机里取出再叠好这类相当复杂的任务，以及机器人第一次在从未进入过的房间里完成有用的工作。此后这一年，机器人又学会了很多：洗一口油腻的锅、削一根胡萝卜、做一个烤芝士三明治、切一根西葫芦、开锁等等。
但今天我想讲的不是机器人能做多少种炫技动作，而是**让机器人在现实世界里真正发挥作用，到底需要什么？**这里有两件事：一是通用性，如何开发通用模型；二是如何把模型带进现实，让它产生影响、对人有用。先说后者。
物理 AI 的容错空间与此前所有 AI 都不同
要回答后者，不妨先看看此前的 AI 是怎么进入现实的。
最早真正用起来的机器学习，是商品推荐与广告排序；五年之后，深度学习进入同样一批场景。这一步很关键，深度学习可以开箱应对输入输出都很复杂的问题，迁移到别的应用上也相对容易。再往后是 2022 年的 ChatGPT，那是通用模型第一次被大规模使用，五天就达到 100 万用户；之后，像 Claude Code 这样的 Coding Agent 也变得真正可用。
沿这条时间线向右看，通用模型正越来越多地被用来解决现实问题。但还有一个更值得注意的共同点：在所有这些真正有用、也真正赚到钱的机器学习应用里，最终拍板的都是客户本人，模型基本只是给出建议。
这意味着系统犯错是可以接受的。人通常能认出那是个错误，或者即便出了错也知道该怎么办。所以哪怕这类系统并不完美，对用户依然极其有用，外界要求它们做到完美的压力也相对较小。
物理 AI 与此截然不同。**真正在物理世界里运转的物理 AI，必须做出直接影响物理世界的决策。**这意味着其效用在完全自主运行时才大幅提升；也因此，相较于迄今为止已部署的所有机器学习系统，物理 AI 必须犯更少的错。
这件事有没有先例？一年前，Alphabet 旗下的自动驾驶公司 Waymo，单周自动驾驶载客量突破了 25 万次。这说明，一个基于机器学习、能在物理世界里可信地自主运行的系统，确实是可能做出来的。
要素一：把迭代权交给系统
要让通用机器人在现实里派上用场，就得想清楚如何让它长时间自主运行，而不是让人拿着模型的预测去做决策。
假设我们要机器人做一杯浓缩咖啡。单是这个任务本身就不容易：操作冲煮手柄需要相当精准且有力的控制，才能把它正确锁进冲煮头；还要平稳地端住装了液体的杯子而不洒出来；此外它需要准确的时间感——「时间感」在机器学习的其他领域里通常根本不构成问题。
而我们要的不只是把这件事做成，还要它做到 90% 以上的可靠性。
机器学习的第一步永远是：收集数据集、训练模型、评估模型有多好。遗憾的是，这条路很少能在第一次尝试就可靠地奏效。
实践中稍好的做法是在已有模型上迭代：收集更多数据、提高标注质量、把标注做得更细、补充边缘场景的数据、调整数据配比。这确实能提升可靠性，但纯靠人手工调校，人最终会感到疲惫，可靠性也很难维持在非常高的水平。
更好的做法，是让 AI 系统自己在你希望它更可靠的场景里迭代——由它主动去找哪里还缺数据、哪里还需要更多监督。既然整个过程是自动化的，迭代轮次就能多得多。这可能才是让物理 AI 达到 99% 以上可靠性的路径。
这套思路本身就很像强化学习：不断尝试任务，从失败中学习，自己越做越好。问题是，怎么给机器人做出一套可扩展的强化学习方案？
语言模型这边有 PPO、GRPO 这类算法（语言模型强化学习里最主流的两种策略优化算法），它们已经扩展到大语言模型上，也支撑起了相当复杂的推理。但搬到机器人上有个麻烦：这些算法动辄用几百万次、甚至几千万次尝试训练出来，靠堆算力就行，每一次尝试不过是在数据中心里跑一遍语言模型。
粗略把这个量级换算到机器人上：就算不要几百万几千万，只要 100 万条 1 分钟长的机器人任务轨迹（比刚才的浓缩咖啡任务还短），也相当于700 个机器人日，才能把那一个任务做到高可靠。这也许不是完全不可能，但会相当困难。
难就难在这笔账的性质不同。我们不是单纯烧算力去优化某个用例，而是在现实世界里运行真实的机器人——用的是真实硬件，尝试的是真实任务。所以我们需要一个迭代效率高得多的算法。而语言模型的强化学习里，确实存在两笔很大的浪费。
第一笔：大量时间被耗在死路上
举个例子。我们要机器人把纸箱折起来码好，而在这条轨迹里，它意外抓起了两个紧贴在一起的箱子。如果放任它继续，它只会一直试图去折那个箱子，而不会先把两个分开。「把两个箱子一起折」并不是能教会模型把任务做好的有效数据，机器人等于在错误的路径上白白耗时。
与其让它继续耗下去，不如让人介入，直接示范该怎么做、怎么从这种局面里恢复。画面里，一位操作员正在遥操作（由人远程操控机器人做动作，是目前给机器人示范任务最直接的方式），示范「要恢复，得先把两个箱子分开」。夹爪伸进去之后，再看机器人能否自己接上；它没接上，于是人再介入一次，把它拉回正轨。这样，机器人身上的每一份数据都用得更有效率。所以，尽早告诉机器人如何恢复，别让时间耗在死路上；再不济，也要尽早结束这一轮尝试。
第二笔：同一个 prompt 被反复采样
PPO、GRPO 这类算法本质上是在估计这些不同的回答里，哪个更好、哪个更差。所以哪怕只是一个 prompt，它们也会 roll out 10 次、50 次（把模型完整跑一遍生成一个回答，叫一次 rollout），为的是评估每次尝试各自的价值，再提高好结果的概率、降低不好结果的概率。
但这笔成本可以摊薄：与其为单个 prompt 收集大量尝试，不如把成本摊到不同的 prompt 上，学出一个更通用的价值估计，再用它来改进自主系统。
具体做法是在大量机器人经验的视频上训练一个通用价值函数（用来判断当前局面离成功还有多远的模型）。它能学到，叠衣服时不小心把衬衫抖开是负向进展，而正在往前推进的动作则会被识别出来；同一个价值函数也能判断一个完全不同的场景里什么有利、什么不利——比如从冰箱里取东西。这种通用价值模型本质上是在预测达成目标所需的时间，能显著减少从经验中学会改进所需的尝试次数。
有了这两处改进，就凑齐了一套通用的改进算法：先在多样化数据上训练一个基础模型；用它去收集经验，必要时由人介入以避免死路轨迹；再训练一个通用的好坏估计器，也就是价值函数；最后用它来改进模型。
13 小时不停机：可靠性的真实工作流实测
靠这套改进，我们能对基础模型进行微调，以达到更高的性能水平。
先看拿铁。这是一个人机协作的任务：机器人负责制作浓缩咖啡，人负责打奶泡。模型直接控制机器人的关节，使用机器人摄像头拍摄的画面作为输入。它能完成插入冲煮手柄、等待合适的萃取时长、把打好的奶泡倒进杯子这一整套颇具挑战的动作。而最后一步最难——它要把一杯几乎满的拿铁又稳又平地端起来，平移到杯垫上而不洒出来。从机器人的第一视角，大致能感受到这类任务的难度。
回到可靠性。我们把这个策略拿去跑，不只跑了一次，而是连续跑了 13 个小时。要评估的不是它能不能做出一杯拿铁，而是它能否可靠到在现实世界里也派得上用场的程度。结果是肯定的，机器人足够可靠，能连续工作很长时间而不频繁出错。
同一套算法当然不止能做拿铁。Dandelion Chocolate 工厂离我们办公室只有几个街区，我们把他们平时由人来做的一条工作流搬了过来，折纸箱、贴标签、码放，用前面那套强化学习算法训练机器人照着他们真实的流程做，最后得到的策略在这三件事上都可靠得多。
我们还把它用在了叠衣服上。这次要测的不是模型在单一环境里完成单一任务的能力，而是跨环境能力：衣物是机器人从没见过的，房子也是从未进入过的。它做到了，并且能连续自主工作很长时间。
视频不一定说明全部问题，所以我们也做了定量测量。我们既关心可靠性，也关心速度，比如 1 小时能折多少个箱子，因此这里衡量的是吞吐量（它综合了成功率和速度两方面）。结果是，从预训练到类似 SFT（监督微调）的阶段，再到强化学习后训练阶段，成功率与吞吐量都出现了显著提升，其中光是 RL 这一段就带来了约 2 倍的吞吐量。 至于浓缩咖啡任务，若只看成功率，我们做到了 90% 以上。
这表明，我们能为复杂的机器人操作任务做出一套可扩展的高可靠性方案。这个案例里，靠经验与人工干预换来了 2 倍吞吐量；但最重要的是，我们看到了如何在有意义的实际工作流里实现长期自主性。我认为这正是让机器人在现实世界中发挥作用所需要的关键。
当然，这套算法我们实际上只运行了几轮改进迭代，跑更多轮应该还能看到更大的提升和更高的可靠性。而且即便有了这些改进，机器人仍然会犯错，也依然比人慢，改进的空间还很大。
要素二：没有记忆，就做不了长任务
实现长时程自主还差最后一个要素：记忆。
你可能会很意外，目前最先进的机器人基础模型大多没有记忆或上下文，它们只基于当前的传感器观测、摄像头读数来预测动作。短时的运动技能和重复性任务确实不需要记忆——我前面放的那些视频也都没有上下文。但如果要做的是一个包含多个步骤、有先后顺序的长任务，记忆就至关重要，因为你得追踪自己已经完成到哪一步。
既然它这么关键，为什么这些模型没有？有几个技术层面的原因，我只讲其中一个：如果只是机械地把上下文直接输入进去，这笔账根本算不过来。 假设只喂 10 秒视频，按机器人里常见的 50 赫兹控制频率采样，四路摄像头全部喂进去，每张图按大约 256 个 token 算，相当于往模型里塞 50 万个 token。 想实时做到这一点，现在相当困难。就算降采样到每秒一帧，也还是要塞 1 万个 token；至少目前来说，这成本高得令人望而却步，而最终换来的只有 10 秒记忆。
技术细节这里不过多展开，我们对这个上下文问题给出的解法是让系统在多个时间尺度上都有记忆。第一层是短期视频记忆，大约 10 秒，但计算方式比简单地把视频全部塞进模型高效得多。而更长的记忆，跨越几分钟甚至几小时的那种，其实并不需要过去那段历史的完整视频，所以我们把这部分记忆表示成文本：把发生过的事在文本空间里总结出来，再把这份压缩后的文字摘要（覆盖过去 10 到 15 分钟）一并喂进模型。
借助这种多时间尺度的记忆机制，机器人能自主执行持续 10 到 15 分钟的任务，全程无需人工干预。与前面那些演示不同的是，下面这个「清理厨房」的任务不带重复性：用海绵擦拭台面，用纸巾把台面擦干再扔掉，把芥末酱放进冰箱，把碗碟收进橱柜，清洗水槽里的脏碗。
机器人不再一遍遍重复同一个动作，而是必须记住每一步进行到了哪里。
要素三：把所有能力收进一个通用模型
以上就是实现长时程自主的几个要素。接下来我想往前走一步，把它们全部整合进一个通用模型，让它能完成我之前展示的所有任务，还能再多做一些。而要思考这样一个通用模型该怎么开发，把它放回通用 AI 的背景中理解会非常有帮助。
回看过去十五年，我认为第一个重大节点是 2012 年：一个从零开始训练的深度学习系统，第一次在外部基准测试（ImageNet）上登顶。在此之前，榜单上的所有方法都是为图像分类量身定做；而这是第一次，一个更通用、并非为图像识别专门设计的算法超过了那些专门系统。
两年之后的 2014 年，我们发现「采用一个在 ImageNet 上预训练的模型再做微调」成了常规做法，用 BERT 或 ImageNet 预训练模型确实能拿到更好的性能。
再往后，大概从 GPT-2 开始，我们从「预训练 + 微调」转向「开箱即用」的通用模型。还有一个节点值得单拎出来：2021 年，我们第一次在这些模型里看到组合泛化的迹象，最典型的例子就是 DALL·E。
那物理 AI 这边呢？
即使在三年前的 2023 年，对从事机器人研究的人来说，专门收集一套定制化数据集、再在该数据集上从头训练，仍然非常普遍。这类似于为每个项目从头收集一份 ImageNet，再在自己那份上训练——如果每个项目都得从零开始，你大概不会有太多进展。
几年前，我们还处在这条时间线的最左端。直到不久前，才走到 2014 年那个位置：有了一些不错的预训练模型，但还没真正进入右侧那个区间。
怎么到达右侧？具体而言，如何开发一个开箱即用、且展现出组合泛化的通用模型？这里有两个目标：
目标一：开箱即用，类比过来就是从 BERT 走到 GPT。 目前而言，如果你想让模型在某个任务上拿到最好的表现，总是需要微调——文章最开头那些演示（如开锁）用的都是经过微调的模型，我们在人类到机器人迁移方面做的其他工作也需要微调，前文所有带强化学习后训练的视频（如制作浓缩咖啡）同样是在单个任务上微调出来的。但如果每完成一项任务都得微调一次，你拿到的就不是一个通用模型。
目标二：组合泛化，灵感来自 2021 年的 DALL·E。 它之所以是个重要节点，是因为把「牛油果」和「椅子」这两个概念桥接起来，说明模型对这两样东西至少有了某种概念层面的理解——「椅子」是什么，「牛油果」是什么，以至于它能把两者结合，创造出新的东西。其次，它意味着一定程度的数据效率：你的数据不需要覆盖所有可能的概念组合，数据集里并不需要真有一张牛油果椅子的照片。即便在 2021 年它并不完美，这些迹象也足够令人兴奋。
有了这两个目标，做这类模型有一套久经检验的方法：第一，获取一个足够大且多样化的数据集；第二，训练一个容量足够的模型。 数据方面，我们尽量用上手里的一切：非常多样化的机器人演示数据（robot demonstration data），也包括质量很低的演示数据；策略执行数据（policy roll-out data，机器人按当前策略实际跑一遍留下的记录）；所有用于强化学习的训练数据；人类视频；以及来自网络的数据。
模型方面，光是容量足够大还不够，还要能适应异质数据。我们发现，「把模型预测动作所需的全部上下文，都通过 prompt 喂给它」，才是处理这类异质数据的关键突破口。
具体来说，我们训练基础模型的输入包括：前面提到的记忆（observation memory）、要执行的操作指令（task instruction）、子任务指令（subtask instruction），以及元数据（metadata，标记数据质量与片段时长）。此外，我们可以选择性地再提供子目标图像（subgoal images）作为提示，意思是「几秒钟之后，你应该到达一个看起来像这张图的状态」。
而要真正部署，这些输入得有人提供，所以我们另外训练了两样东西：一个高层策略（high-level policy），用来生成子任务指令，比如「清理厨房」的下一步是什么；一个世界模型（world model），用来生成子目标图像。
就这样，我们利用手头所有多样化的数据训练出了一个单一模型，我们把它叫做 π0.7：它能叠一件有领衬衫，能完成螺丝插入并拧进机械臂这样非常精细的装配步骤，也能给垃圾桶更换垃圾袋——而这全部出自同一个模型。
两个目标的验收，与物理 AI 的 GPT 时刻
开箱即用只是第一步。真正关键的问题是：这个预训练模型，跟前面那些专门为制作咖啡、折箱子训练出来的专家模型相比，差多少？
比较单一的 π0.7 与微调过的 π*0.6 在吞吐量和成功率上的表现，结果是在所有项目上，预训练的 π0.7 都追平或超过了针对下游任务、通过强化学习后训练开发出来的微调专家模型。这一点同样适用于经过监督微调（SFT）的专家模型。也就是说，我们确实拥有一个单一模型，能在开箱状态下以非常高的性能水平执行许多不同的任务——目标一达成。
再看第二个目标，组合泛化。我们做了两个测试：
测试一：机器人能否与「空气炸锅」这类相当罕见的电器交互。 我们让它打开空气炸锅，把一根红薯放进去再关上。之所以挑它，是因为我们从未刻意采集过任何包含空气炸锅的训练数据。事后分析才发现，数据集里确实存在三段与空气炸锅相关的数据；不过我们认为，就算把那三段拿掉，它大概率还是能做到。总体来说，机器人能与一件在训练集里几乎从未出现过的电器打交道，把「开 / 关」这类交互技能与之相结合。
测试二：换一台完全不同的机器人，任务还能否组合性泛化？ 我们使用画面右侧这台双臂 UR5e 工业机器人，想知道在开箱即用、不提供任何折叠衣物数据的情况下，它还能否成功完成。结果它确实做到了。两台机器人不只在尺寸上存在差异，连连杆长度、关节构型都不一样。画面左上角能看到模型生成的子目标图像，那是它在试着生成能让任务往前推进的画面，这些画面再作为输入喂回模型；最后它还会做几个小修正，把衣服弄得更平整一些。
定量上也是如此：随着我们做到 π0.7 这类更先进的模型，在这台它从未见过的平台上叠毛巾、叠衬衫的表现大幅提升，甚至接近人类遥操作的水平。
所以结论是，无论是「语言—物体」的交互，还是「任务—机器人」的交互，我们都能观察到该模型展现出显著的组合泛化迹象——目标二达成。 最后一个实验，我觉得可能是最有意思的。前面提到两类要素——多样化数据（diverse data）与详细的条件控制（detailed conditioning）——它们到底有多重要？
先看数据多样性。 如果把最多样化的那部分数据从训练里移除，模型在保留任务（训练时故意不让它见过的任务）上的表现会急剧下降；而如果只是随机拿掉 20% 数据（这部分多样性不如那个最多样的子集），表现只下降一点。这说明，真正多样的数据在让模型泛化到新任务上起了重要作用。
再看元数据提示。 我们做了一组消融实验（把某个成分去掉，看性能掉多少，用来判断它到底有多重要），对比「有提示」与「没提示」。最有意思的是这条曲线的走向：随着你加进越来越多的数据、尤其是越来越多的低质量数据，没有元数据提示时，数据从 80% 加到 100%，性能反而下降了——这不算太意外，毕竟你是在往数据配比里掺低质量数据。而有元数据提示时，加进同样这批数据，性能反而上升。
顺带一提，我展示的所有视频和实验，评估的都是开箱状态下的模型，没有经过任何后期训练。
我们讲了长时程自主，也展示了如何在一个通用模型中发展这种能力。那么回到最初那个问题，机器人现在具体发展到哪一步了？
回到通用 AI 那条时间线，我认为**物理 AI 现在已经稳稳站在这条线的右侧，大致处于类似 GPT 和 DALL·E 的时代，**而且只用了几年就走到这里。
更重要的是，这些模型已经部署在真实场景中了。两家 YC 公司 Ultra（做电商打包）和 Weave（做家用叠衣）使用 PI 模型做后训练，在实际部署中完成折叠衣物、仓库打包这类任务。而这类模型能适配的机器人本体（机械结构与硬件形态各不相同的机器人）也非常多样：除了比较标准的双臂平台，还有无人机、四旋翼飞行器、手术机器人，乃至拖拉机。往前走，我认为会有越来越多的机器人不只停留在演示和研究中，而是真正部署到物理世界里。
现场问答
🎙️ 现场提问
我们离机器人的 ChatGPT 时刻还有多远？它会是什么样子？
👩 Chelsea Finn
我先回答后半段。我不太确定它会复刻语言模型那个 ChatGPT 时刻——五天突破一百万新用户。物理模型的分发渠道会慢得多，因为你真的需要那里有一台实体机器人。Waymo 的铺开速度已经相当了不起，但把东西部署到物理设备上仍然需要时间。
所以，**我不确定我们是否会有一个分发量能与 ChatGPT 相提并论的时刻；但就模型能力而言，我认为我们确实已经进入「这些模型在现实世界有用」的阶段。**未来几年内达到 ChatGPT 那种能力水平，是非常有可能的。
🎙️ 现场提问
一个小团队什么时候该从「把专用模型做大」转向「通用策略」？这个转换是什么样子？有哪些信号说明时机到了？
👩 Chelsea Finn
我认为一上来就用通用策略、然后去微调它，就已经非常有效。 现在有不少很强的开源通用策略可用，比如 π0 和 π0.5，我们已经看到很多人从这些模型里拿到了实际成果。
唯一我不会这么建议的场景，是你处在一个约束极强的环境里。我跟一些做手术机器人的人聊过，他们在地下室的手术室工作，没有网络连接，GPU 也很差，这种时候用大模型确实很难；不过即便如此，你依然可以在工作站上做本地推理。
所以直接拿 π0.5 或者你顺手的模型来微调，就是该走的路。
🎙️ 现场提问
鉴于机器人技术在工业界发展如此之快，如今读博的真正优势和劣势是什么？尤其对于之后想进入工业界的人来说。
👩 Chelsea Finn
我原本没打算读博，而是想一毕业就进工业界。我父母都是工程师、也都在工业界工作，我爸甚至跟我说，他不会雇一个博士。所以我当时想，那我可能不该读博，不然会找不到工作。不过他在另一个领域，土木工程。
但我也认为读博是一个非常难得的机会，我个人非常喜欢我的博士阶段。
首先，**读博是学习「如何应对不确定性、如何挑选好课题」的绝佳机会。**在研究里没人会把问题递到你手上，你必须自己挑；挑完之后，你并不知道这个问题在未来半年、两年还是十年的跨度里能不能取得进展。而「应对不确定性」这种能力在今天格外有用，因为在 AI 前沿、在创业环境里，没有人知道让模型变得更强的最佳路径是什么。
其次，它也是一个做出色研究的机会，你有很大的自由去做真正令你兴奋的事。
与此同时，工业界的机会同样难得。我刚展示的这一切背后不只有研究：机器人要在一整套软件栈上可靠运行，硬件那边有一堆事，还有机器学习基础设施、数据基础设施。这里面很多工作并不需要博士学位；研究岗通常也有参与机会，何况如今很多研究本身就是工程。
所以这很看个人。哪怕在今天，我想我还是会读个博士——为了学会应对不确定性、学会做研究，也因为我真的喜欢留在前沿思考有挑战的课题。但两条路上都有很好的机会。
🎙️ 现场提问
大语言模型从互联网学习，但机器人并没有一个互联网规模的物理经验数据集。机器人领域的对应物是什么？我们怎么得到它？
👩 Chelsea Finn
先说语言模型。网络上的数据是语言数据，并非全都高质量，但其中一部分非常有信息量，而且这些数据反映了你希望模型去做的事：你希望它预测文本、补全文本、回答问题，而互联网上正好有大量被回答的问题和被补全的文本。机器学习有个通则是「训练要匹配测试」——你训练模型用的东西，得能反映你之后要它做的事。
所以我认为**机器人领域的对应物，是机器人在真实世界环境中运转的数据。**我们的做法是采集机器人经验，采集它做各种任务的数据。**初始数据可以靠遥操作采集，但长期看，其中也会包含大量自主经验，也就是部署出去的机器人自己尝试的记录。**这和语言模型的现状是一致的：现在有大量时间花在生成数据上，做法就是把模型跑起来、让它把事情想一遍。
我认为还有别的信息源对训练很有用，比如人做事的视频、YouTube 视频、带标注的网络图片，它们能告诉你「这是一个厨房，水槽右边有个冰箱」。这些数据对开发一个能控制机器人执行任务、能推理长任务该怎么做的前沿多模态模型，都很有帮助。
但机器人自身的经验是无可替代的。你不能光靠看，我看费德勒打网球，不代表我就能打得跟他一样好；同理，机器人也不能光看人做某件事就自己弄明白怎么做，它们必须在自己的本体上积累经验才能有效学习。我认为我们会需要很大的数据集。这不是说人类视频没有帮助，看费德勒打球是有用的，但在机器人平台上真实积累的经验，才是构建机器人版对应数据集的关键。
🎙️ 现场提问
通用机器人模型有没有可能像大语言模型那样通过开源被普及？还是说，具身数据和硬件的成本会让最好的模型继续集中在少数资源雄厚的实验室手中？
👩 Chelsea Finn
我认为具身数据和硬件成本很可能让这件事变得不一样，因为要拿到数据更难，即便你想蒸馏一个模型，也没法像在互联网上那样随手可得。
但我们也确实看到过相当大的数据集被开源，相当强的模型被开源。在语言模型这边，先不说那些真正做到前沿水准的开源模型，就连那些重心放在闭源上的公司也在大量开源，比如 Gemma、OpenAI 的开源模型。这些公司愿意支持开源，是因为开源能帮他们把自己所做之事周围的生态建立起来。
所以我对此持乐观态度，我认为无论如何都会有一个强大的开源社区，但我不确定它是否会完全按语言模型那条路走一遍。
🎙️ 现场提问
模型是直接输出原始电机指令，还是输出一个目标手部位置、再让控制器求解关节角度？为什么说这是合适的学习层级？
👩 Chelsea Finn
我展示的所有模型，输出的都是目标关节位置——这个关节该到什么角度、那个关节该到什么角度，然后由一个控制器（比如 PD 控制器）去让关节达到目标位置。模型同时也被训练去预测目标夹爪位置，也就是夹爪应该处于三维空间中的哪个位置，你也可以用它反解出关节角度。当然，你也可以更底层，直接输出电机力矩、电压或力度。
不同选项各有利弊。我们发现，控制关节以及控制夹爪在三维空间中的位置，这两种方式都表现良好。直接输出电压这类做法的好处是，你还能控制输出的软硬程度；而如果控制器是固定的，模型就无法支配这个维度。
不过我们现在这套（目标关节位置 + PD 控制器）看起来是有效的，它不像是瓶颈所在。我通常倾向于把精力放在那些看起来确实是瓶颈的地方。
🎙️ 现场提问
机器人是否需要某种「想象力」，也就是在真正变得有用之前，能够预想接下来该发生什么的能力？
👩 Chelsea Finn
我刚才展示的 π0.7 就有类似的能力：它能想象未来的画面应该长什么样，再试着去达成。在叠衬衫那个例子上，用这种「想象」相比不用，我们看到了量化上的提升。
我们原本考虑就这项能力单独写一整份技术报告，但「不带想象力」的模型本身就足够强。我们觉得应该让「不靠想象力也能做到这一步」这件事在整个故事里占更重的分量，因为真正撑起那些强结果的是模型本身的能力，而不是这项「想象」。
所以这更像是一个设计选择，很难说「想象」会不会成为关键组件。不过我认为，**「预测未来」相对于「预测未来动作」是一个高度相关的训练目标，应该有助于从所有可用数据中学习。**经验上它目前确实有帮助，只是可能没有你预期的那么大；而即便没有这种想象力，机器人也已经能做出相当惊人的事情。
现场提问
现在机器人似乎能完成很多令人惊叹的任务，但动作非常慢。要提升速度需要什么？
Chelsea Finn
我对提速这件事非常期待。强化学习确实带来了速度提升，在 RL Tokens 中我们展示过比人类遥操作更快的速度。
我认为瓶颈之一在于：**遥操作是教机器人做事最简单的方式，而人遥操作的动作本身就偏慢。**说到底，**要么你想办法让演示本身变快，要么你想办法让策略跑得比它学的演示更快。**我们已经看到了后者的证据——在 RL Tokens 里，策略的速度超过了人类遥操作。
现场提问
最近你见过的最让你意外的机器人任务是什么？接下来你最想看到它做什么？
Chelsea Finn
最让我意外的不是某个任务。我们做 π0.7 时，我训练它组装风车：拿起预先裁好的纸片，拿起一根小针，把针插进纸上的孔里。我们很小心地控制了策略，所有数据里都是右手拿针、左手拿纸，然后插进去。
机器人一开始也这么做，然后它出了个错，纸落到了右边、针落到了左边。而它接下来做的是：拿起纸，用左边的夹爪拿起针，再用右手把针插进纸里——它从未见过用左夹爪插针的数据，这在后训练和预训练数据中都不存在。这说明**机器人本质上学到了左右手之间的某种等变性，能把行为从一只手迁移到另一只手。**这是我此前没在这类模型里见过的涌现能力。
至于接下来想看到什么，我不太会去想某个具体任务，更多的是想能力本身，以及怎么从这些模型里拿到下一个能力。在「让机器人长时间可靠地做事」这个方向上，还有很长的路要走。最近我们在做的一件事是让机器人用刀切菜，一旦能安全地用刀，这里面能做的事情就很多了。
现场提问
有软件工程背景的人，怎么转换到机器人赛道？
Chelsea Finn
首先，机器人赛道本身就有大量软件工程工作，你可以试着以软件工程师的身份加入一家机器人公司。
另一条路我确实见过有人走通。有位现在在 Physical Intelligence 工作的同事叫 Jenny，她之前做算法交易，后来在 Harvey 做法律相关的事。她对机器人非常感兴趣，就买了一台便宜的机器人，在自己卧室里摆弄，试着微调一个开源模型、让它做点什么。然后她把成果分享了出来，还给我发了一封邮件说「我很想去你的实验室工作」。她的履历看起来很有希望，因为她真的动手去做了、试了，而且是真的热爱这件事。
所以我认为，**先把手弄脏、行动起来，从那段经历里学习，再把它分享出去、写进简历，就是很好的路子。**现在开源的东西很多，也足够让你上手。
好，这是最后一个问题，谢谢大家！
补充：三个人，三条关于数据的路线
在演讲的开头提到的那处分歧「数据的规模究竟来自人类视频，还是来自机器人自身的经验」，Chelsea Finn 在本文中给出了立场，却没有展开背后的机制：为什么机器人的经验无可替代。
补上这层机制的，是 Physical Intelligence 的另一位联合创始人、加州大学伯克利分校教授 Sergey Levine。他近期在 Ryan Peterman 主持的技术播客中谈到，语言模型依靠互联网数据取得成功之后，一种自然的推论是先用网络视频完成预训练，再把机器人数据叠加在上面。而他认为真正有效的顺序恰好相反：先用机器人数据建立起接地（让模型的表征与真实的物理动作对应起来），有了这层基础，模型才更善于吸收其他来源的知识。
支持这一判断的论据，来自他的同事与佐治亚理工研究者合作的一项分析。他们拿 Physical Intelligence 自己的机器人基础模型（一个只用机器人数据训练、从未见过任何人类视频的模型），再往上叠加人类视频数据，然后观察模型内部的表征发生了什么变化。结果是，当机器人数据量较小时，人类经验与机器人经验在模型内部是两类互不相干的表征；而当机器人数据的占比提高到全量，这两类经验转而按任务本身归类，几乎不再区分某个动作是由人还是由机器人做出的。
Sergey Levine 同时还提到三个未被本文覆盖的判断：
第一是时间表。他认为**人形机器人真正可用的时间尺度是「个位数年」，而非十年以上。**至于什么算「真正可用」，他给出的判断依据是，模型进入一个未曾用于训练的新环境后，能靠自主经验持续改进到实用水平，而不是停在 50% 左右。
落地路径分为两端。一端是结构化程度高的场景，比如周围都是受过训练的作业人员、任务相对可预测的作业环境，这类场景安全顾虑小，可能就在当下或明年实现，但每一份数据的边际价值也更低，因为环境缺少多样性。另一端是家庭这类完全非结构化的环境，多样性一上来就很充分，代价是对安全的要求高得多，还需要更长时间，不过大概率也不会拖到十年之后。他把这个取舍概括为：起飞得早但斜率小，起飞得晚但斜率大。
第二是演示为何具有误导性。**泛化是多次试验才能体现的属性，而不是单次试验能够证明的属性。**一段高难度的杂技式表演看上去很有冲击力，但它和「在从未见过的物体、从未进入过的环境里，把一件平淡的事做成」，完全不是一个难度级别。
第三是关于中国机器人生态。他没有回答谁更领先，而是把话题转向生态的健康程度。在他看来，除模型与算法之外，供应链、制造与硬件研发同样是这个生态的组成部分；他也明确表示，机器人研究所使用的低成本可靠硬件，目前大量来自中国。
最后这一点，恰好补上了本文没有展开的另一部分。Chelsea Finn 这场演讲讲的全部是大脑——可靠性怎么拿到、记忆怎么装进去、一个模型如何覆盖所有任务。但一个能开箱即用的通用模型，前提是它有足够便宜、足够可靠以及足够标准的身体可以附着，而那部分能力不在实验室，在供应链和制造业里。
