Physical Intelligence:构建通用具身基础模型|Vital Views
降低门槛让更多人动手尝试,就会涌现更多创造力

当前具身智能行业发展进程中,本体快速迭代的同时,作为 "决策中枢" 的具身模型,逐渐成为技术演进的关键变量。
绿洲种子轮被投企业千寻智能,继今年 2 月完成近 20 亿融资后,30 天内再获资本支持,累计融资额达 30 亿。 千寻坚持 "用交付定义通用",以企业合作、真实场景为锚点,通过多样性数据推进模型 Scaling。截至目前,获取的真实交互数据已超 20 万小时。
将视角延展至海外,Physical Intelligence*(π,简称 PI)*也是较早提出 "通用物理智能模型" 核心观点的公司之一。联合创始人 Sergey Levine 在近期一场深度访谈中,对这一方向的技术判断、关键挑战与落地方式,给出了他们的系统性阐述。
我们基于访谈内容进行编译和整理,全文约 2 万字,阅读时间约 30 分钟。
Enjoy

左:Patrick O'Shaughnessy, CEO of Positive Sum 右:Sergey Levine, Co-founder of Physical Intelligence

具身通用模型比专用更有意义
Patrick: 请你先分享一下 Physical Intelligence 正在做的事情?
Sergey: 本质上说,Physical Intelligence 的目标是构建机器人基础模型,让模型有能力在几乎任何具身系统上执行任何任务。你可以类比语言模型的发展路径,语言模型逐步正在演进为,凡是能用语言表达的任务都可以完成的系统。我们核心判断是,**在通用层面求解,可能比针对单一场景逐一做特化训练更容易实现。**这与语言模型的发展经验是一致的,相较于分别优化机器翻译、情感分析等单点任务,直接在自然语言的整体层面上建模,反而更有效。
Patrick: 这个判断并不常见,为什么不直接做只负责类似洗碗任务的机器人?你为什么做出这样的决策?需要权衡的关键因素又是什么?
Sergey: 我分两部分来回答。
一是语言模型的经验类比,二是放到机器人领域具体意味着什么。
在自然语言领域,曾有大量工作是做专用解决方案,比如有人专门研究英语和法语的差异,然后构建机器翻译系统。后来大语言模型之所以能够取代这些细分应用,本质在于它可以利用更广泛的数据来源。这并不只是把不同任务数据简单合并,而是更进一步,当你可以利用弱标注数据*(weakly labeled data)*,例如直接从互联网获取大规模文本,模型实际上是在学习对世界的整体理解。在这样世界认知之上,再去构建具体应用,效果会更好。
机器人领域条件并不完全一样,因为我们没有类似语言模型可用的互联网规模数据集,但 "理解世界" 这件事反而更重要。 如果面对多种任务、甚至多种不同物理系统,与其分别训练洗碗、叠衣等单一任务的模型,不如训练一个真正理解物理交互的模型。
人类之所以可以快速掌握新技能,正是因为我们对物理世界有直觉性的理解,能够在陌生情境中迅速判断会发生什么,并据此行动。 同理,如果模型可以从多来源、多任务、多机器人的系统中学习,就有机会建立这种物理层面的理解,在此基础上扩展新的应用也会更容易、更高效。
Patrick: 如果回到最基础的模型层来理解 Physical Intelligence 的路径选择,能不能更简化地说明?我想把它和其他你关注、但并未采用的路线做对比。
Sergey: 在我看来,最关键的是要让系统具备 "通用性",尤其是如何被改进这一点上的通用性。
比如,手工设计的机器人控制器,在如何改进这件事上是很不通用的,因为每一次优化都需要工程师介入。基于学习系统就会更通用一些,比如感知系统,只需要有人去标注更多数据,就可以持续改进。而如果系统能够通过自身经验自动获取数据并学习,那就更进一步了,因为连人工标注都不再需要。我们做出很多决策,本质上都是围绕这一点展开的。
至于具体实现形式,比如机器人是否应该配三颗摄像头,是否需要触觉传感器,这些其实是相对中立的,我们会尝试不同方案。甚至从长期来看,是否一定需要语言模型,我也不确定,也许会有其他基于多样数据训练出来的模型形态。
但不变的核心,是追求这种通用性。
Patrick: 你还关注哪些其他路径?哪些方向在你看来是比较有意思的?
Sergey: 这个领域里非常关键的问题,也是研究界和产业界尚未真正解决的问题,是不同数据来源之间的分歧,尤其是 "真实数据" 和 "仿真数据" 的取舍。这是一个争议很大的话题,我自己也有比较明确的看法。但客观来说,这里确实存在两条差异很大的路径。
比如人形机器人领域,那些完成复杂体操动作的视频,会发现背后通常依赖一套高度基于仿真的方法,真实世界数据反而用得很少,甚至几乎为零。而在机器人操作领域,主流方法往往正好相反,很少使用仿真数据,而是依赖大量真实世界数据,以及规模很大的基础模型。
有意思的是,在这两个子领域中,占主导地位的方法论竟然如此不同。未来有几种可能:一种是某一条路径最终胜出,成为统一解法;另一种是两者之间出现某种融合,形成新的范式。
我并不确定最终答案,但我对当前路径有信心,但去理解为什么这两种方法会如此不同,本身就是一个很有价值的问题。
Patrick: 相比那些对普通人更直观、更容易理解的路径,比如一台机器人专门完成某项具体任务、行为清晰可见,你们的选择最困难部分是什么?
Sergey: 其实困难贯穿了我整个职业生涯。
当你决定做机器人学习,越强调通用性,困难就越明显。真正有效、真正的泛化能力,并不是最容易做出 "惊艳演示" 的方案。如果目标是做一个很吸引眼球的 Demo,最直接的方式是选一个很酷的任务,把环境完全控制好,做到极致干净、可控,只在这个特定场景里把任务完成。
但泛化能力不是这样,它无法通过单一场景展示。泛化的核心在于,它做的是一些人类看来很普通的事情,但可以在不同环境中稳定完成。
比如我们去年 4 月发布过一组 Demo,展示机器人清理厨房。从单个视频看,其实并不惊艳,无非是拿起盘子之类的动作,看起来谁都能做到。关键在于,机器人只是临时被放进去做演示,模型此前从未在这个场景中训练过。如果不了解背后设定,很难意识到这件事为什么代表了能力边界的突破。

Patrick: 你如何看待这件事的重要性?做成什么,就意味着成功?而不只是泛泛地说 "跨越了通用物理智能这道鸿沟"?
Sergey: 如果通用具身基础模型*(Embodied Foundation Model)*真正成功,那非常令人兴奋的结果,是它会极大地释放人们在构建机器人和各种具身系统时的想象力。
个人计算机之所以意义重大,是因为它让人搭建出各种非常酷的东西,随后出现了一次近似 "寒武纪爆发" 的应用涌现。这一波浪潮从 90 年代开始,并在互联网出现后被进一步加速。我认为机器人领域也可能发生类似的事情,今天之所以还没有出现,是因为如果想做新的机器人应用、实现新点子,往往需要搭建一整套非常庞大、复杂的技术栈,本质上等同于你必须自己解决"智能"问题。这让大多数尝试变得不可承受。
如果未来存在可以直接调用的基础模型作为基础设施,人们可以通过 Prompt 获得基础能力、做一定程度的微调或适配到自己的应用场景,那么大量公司、个人、团队都会开始尝试各种各样的方向。
我们有时会想象机器人是一种单一形态,比如"现在有了人类,接下来造出金属人类",但技术很少以这种方式演进。**更大概率会出现整套工具体系,人可以自由组合、创造各种形态和应用,甚至是非常不一样的东西,**比如有五只手臂、挂在天花板上的机器人,去解决特定问题;也可以在软件层面做各种实验。
而我认为,具身基础模型正是那个最合适的平台。

人形不是唯一解
Patrick: 在你看来,人形机器人在这条路径上的优势和局限分别是什么?
Sergey: 明显的优势是它 "很酷",展示更直观、也很容易产生共鸣。比如现在大家经常讨论的 Tesla Optimus 手部设计,本身就很有吸引力。直观性有助于激发想象力,让人们更容易思考未来。
但人形机器人只是众多可能形态中的一种,更核心的问题在于智能本身的挑战。 不同形态的机器人之间其实是相似的,我不认为应该在某一种特定身体结构下去解决智能的问题,而应该以更通用的方式来处理,否则很难形成系统性的突破。同时,通用方法也更有利于数据的积累和利用。机器人一个重要的优势在于,它们并不需要被限制成人类形态,可以针对具体任务设计最合适的结构。例如,设想用一个由 1000 架四旋翼组成的集群来建造房屋,而不是依赖单一形态的机器人。
从长期看更可能的路径是,先构建出一个机器人基础模型,再将其适配到不同形态和场景中,覆盖推土机、人形机器人到机械臂等各种系统。具体落地时,可能需要做微调,或通过上下文让模型理解具体 "身体" 的工作方式。
但底层规律是共通的,如何与物体交互、物体如何在世界中运动、因果关系如何产生,这些在不同系统之间是保持一致的。
Patrick: 你有没有一个特别偏好的例子可以说明,真正的通用智能能够实现什么?而这些事情,仅依赖人形机器人是难以做到的?
Sergey: 有几个方向值得考虑,其中之一机器形态大小,这点会带来很多可能性,尤其是在医疗和外科领域。
未来的机器人不一定需要长得像人,甚至也不一定需要被人类直接控制。以当前手术机器人为例,本质上仍然是遥操*(**Teleoperation)*,需要医生实时控制,并具备足够的操作精度,这一限制同样存在于当前基于学习的系统中。但从长期看,这种限制是有可能被突破的。

Patrick: Michael Crichton 有本精彩的小说叫《机械瘟疫(Prey)》,中间提出了关于形态的猜想,对于某个具体问题,似乎会存在一个最优、或者一组最优的机器人形态来完成任务。照这个思路,你真正应该做的是先分析问题,然后让系统 "变形",转变成适合这个任务的形态。对于这一点你是怎么思考的?相比数据和模型侧,你怎么看机器人形态的创新?
Sergey: 在机器人领域,形态创新一直受到很大限制,核心原因在于 AI 本身的挑战。如果是传统的 AI 技术路径,比如基于运动规划等方法,很难随意拼装新的机器人。因为一旦换了形态,你就需要重新刻画系统动力学、做系统辨识、构建整套控制体系,这些成本很高。
但如果你可以在车库里拼一个机器人,加载基础模型,直接让它去执行各种任务,情况就不一样了。也许一开始做得不完美,需要更多数据来优化,但至少可以让系统 "动起来"。这种能力本身就是非常强的驱动力,可以让更多人参与进来进行实验。
我并不认为自己是设计 "最优机器人形态" 的那类人,这方面有更专业的人。**但从整体上看,这更像个人计算机的发展路径,关键是让更多人能够动手尝试,大幅降低门槛。一旦实现这点,就会涌现出更多创造力。**早期个人计算机形态是很有限的,但现在,计算设备可以存在于手机、汽车、甚至冰箱中,形态非常多样。而支撑这一切的,是通用性,以及可以在其上构建应用的软件基础,这在机器人领域同样成立。
Patrick: 你的联合创始人 Lachy Groom 曾经跟我描述过 "物理智能",它是一种类似学习骑自行车的感觉,在某个瞬间从不会到会,那种 "突然掌握" 的感觉就是物理智能本身。
Sergey: 其实这个现象是有生理学解释的,曾经有在猴子使用工具时进行的研究,可以观察到大脑中哪些神经元在激活,用来判断手的位置。有意思的是,当猴子使用工具时,这些神经元的激活并不是基于手的位置,而是基于工具末端的位置。也就是说,"工具是身体的延伸" 并不只是比喻,而是真实存在的生理机制,大脑确实会这样工作。
Patrick: 那在理解这一点之后,会如何影响你们的研究方法?
Sergey: 这意味着物理智能在某种程度上应该是与具体形态无关的,一个好的基础模型,应该能够学会如何控制它所对应的任何 "身体",以及手边的任何工具。**本质上不存在所谓 "人形机器人问题"、"汽车问题"、"推土机问题" 或者 "固定在桌面上的机械臂问题",只有统一的一个问题。**如果能够在通用的层面上把问题解决,能力会非常强大。

机器人学习的历史脉络
Patrick: 在讨论当下和未来之前,先建立清晰的历史脉络是很有必要的。如果回顾机器人研究的发展历程,有哪些关键节点促成了今天的局面?你能否梳理一下重要的里程碑?
Sergey: 一些核心理念其实由来已久,机器人端到端控制就是非常早期的想法,比如最早一批端到端学习自动驾驶系统,在 1980 年代就已经在尝试了,像 ALVINN 项目,大约诞生在 1986、87 年,通过非常小的神经网络直接从摄像头输入控制车辆在高速公路上行驶。
真正困难一直是如何把这些理念落到机器人的学习系统上。
这个系统需要同时满足几个条件:一是能够处理具体应用任务;二是训练成本可控,不需要为每一个新任务都采集海量数据;三是具备常识,能够应对长尾场景中的异常情况;四是在目标任务上表现稳定、快速且可靠。
这些要求叠加在一起非常困难,因为机器学习天然依赖大规模数据,如果用最直接的方式解决问题,比如做个洗碗机器人,最自然的做法就是收集大量洗碗数据。但这种方式不可扩展,每进入一个新任务,都要重复一次完整的数据采集和训练流程。这也是为什么通用模型至关重要,只有当模型可以覆盖多任务时,每新增一个任务所需的数据量才会显著下降。
但更关键的变化发生在最近几年,即如何处理 "异常情况"。 对于这些长尾场景,模型往往没有直接经验,只能依赖从其他来源获得的知识,并将其迁移到当前情境中。人类在这一点上非常擅长,例如开车时,如果路中间出现一个你从未见过的标识,提示前方有燃气泄漏,你仍然可以基于已有常识判断该如何应对,你并不需要亲身经历过类似情况。
长期以来一直机器人学习中的核心难题是:这种常识从何而来?最近的突破在于,多模态大语言模型在 "获取和表达知识" 方面表现出很强能力。虽然它们不擅长将这些知识直接落地到具体的物理环境中,但确实知道很多。
这意味着,现在存在一条路径,可以通过利用多模态大模型中蕴含的知识,来补足机器人在长尾场景中的判断能力。 当然,这也带来了新的技术挑战:如何正确接入这些知识?不能简单地给模型一张图片问它该怎么做,因为它缺乏必要的上下文,例如自身是一个什么样的机器人、当前环境状态如何等,这正是当前技术攻关的重点。整个研究社区已经取得了一些进展,更重要的是,我们第一次看到了一个清晰的方向:可以通过引入大规模知识,来系统性地提升对长尾问题的处理能力。
Patrick: 未来回顾这一领域时,在这条路径中是否存在类似 AlexNet 或 Transformer 这样的关键节点?有没有一些足以写为 "历史分水岭" 的重大事件?
Sergey: 这是个很好的问题。但如果要给出一个明确答案,现在还为时尚早。
通常来说,这类 "历史性节点" 往往需要至少 10 年时间回看,才能被确认下来。如果从已有脉络看,最早的里程碑之一,就是 1980 年代的端到端学习系统。随后是 2010 年代初期的深度强化学习,这对机器人来说也是一个关键节点,因为它提供了一条路径,使系统性能有可能超越人类。
至于最近几年的进展,现在还很难判断哪些会被写进 "历史"。但多模态大语言模型的出现,以及它们被用于机器人控制、引入常识能力,是非常重要的进展。接下来几年,大概率还会出现一系列关键突破。最终被写入历史的,很可能就是这一阶段涌现出来的那些进展。
Patrick: 你是如何进入这个领域的?最初是在什么阶段、出于什么原因开始对这个方向产生兴趣的?以及,你是如何持续做出选择,把时间和精力投入到哪些具体问题上?
Sergey: 我是在 2014 年开始做机器人研究的,当时我刚完成研究生阶段,在 UC Berkeley 跟随 Pieter Abbeel 做博士后。在那之前我并没有做过机器人的相关工作,只是觉得毕业后还需要再系统地学习一些东西,而他的实验室正好是做机器人的,所以我就尝试把之前的研究应用到这个领域。
在那之前,我主要做的是计算机图形学。但我一直想解决的一个核心问题是,如何让 AI 系统在 "做事情" 的过程中持续变强。也就是说,一个系统做得越多就越擅长,这种能力本身是非常强大的。如果这一点成立,它理论上就没有上限,可以不断掌握新的技能。
一开始,我让系统不带任何先验,从零开始练习某个具体技能并逐步提升。这在封闭环境中可行的,但很难扩展到开放世界。一旦环境发生变化,之前学到的能力就很难迁移,系统往往需要重新学习。
接下来我开始尝试另一条路径。在 Google 工作时,我探索能否通过多机器人并行学习来解决这个问题,例如把 20 台机器人放在一起,让它们共同学习。这种方式确实能提升效率,也带来一定程度的泛化能力,但仍然难以处理长尾情况,因为模型本质上还是被限制在特定任务分布内。
所以我认为下一步,是将 "通过实践获得技能" 的能力,与大量先验知识结合起来。 这本身是一个非常困难的假设,而且不仅存在于机器人领域,在整个 AI 领域都是核心挑战。
如果回看过去几十年的 AI,有两条最重要的技术主线:一是生成式 AI,例如大语言模型;二是深度强化学习,例如 AlphaGo。
两者都非常强大,但强大的原因完全不同。生成式 AI 的优势在于,它能够复现人类已有的能力,比如写作、绘画;而深度强化学习的优势在于,它可以探索出人类从未想到的策略,比如围棋中的 "第 37 手"。**真正的难点在于,把这两条路径结合起来,一方面引入生成式 AI 所蕴含的大量知识,另一方面又能通过强化学习超越人类水平。**这正是我现在在 Physical Intelligence 希望解决的问题,虽然还没有完全实现,但我们已经在这个方向上取得了一些进展。
Patrick: 具体来说做了哪些工作、现在又在做什么推动这件事发生?
Sergey: 过去几年从构建基础能力入手,构建 Vision-Language-Action(VLA)模型,可以把它理解为一种被适配到机器人控制上的大语言模型。它的训练路径大致分为三个阶段:先在文本数据上训练,然后引入大规模图像数据,让模型具备视觉理解能力,最后再用多样化的机器人数据进行适配,使其能够执行物理动作。
这样做的结果,是把互联网中的知识引入到一个可以控制机器人的模型中,作为起点,从而产生一些有意义的行为。
在此基础上,我们主要沿着两条方向推进:一是如何让系统在异常场景中具备常识判断,二是如何通过强化学习让系统持续优化自身表现。
常识部分,核心是引入类似 "思维链"(chain of thought)的机制。也就是说,当机器人进入一个场景时,它不会立刻执行动作,而是先对任务进行推理。 例如被要求清理厨房,它会先观察环境,然后在内部生成类似 "我应该先把盘子拿起来" 这样的中间判断,相当于 "自我对话",再据此执行动作。这种中间推理过程,可以调动模型在预训练阶段获得的大规模知识,从而提升对复杂或异常情况的处理能力。强化学习则是在系统已经具备初步能力后,通过反复实践具体任务,让它在真实经验中不断优化。例如我们做过一个制作浓缩咖啡的 Demo,系统通过多次重复这一过程,逐步提升了稳定性、速度和整体效率。
当然,这还只是一个起点,整个体系还有很大的优化空间,但基础框架已经建立起来了。

让真实世界成为机器人的数据 "蓄水池"
Patrick: 更关键在于你的产品,如果看这一代系统,你会看到机器人上有摄像头,可能还有分布在不同位置的各类传感器。本质上,数据就是通过部署在机器人不同部位的传感器来采集的?
Sergey: 是的,关于传感器有一点值得强调,实际所需的数量,可能比直觉中要少,但依然可以完成相当多的任务。比如这个平台只有三颗摄像头,两只手腕各一颗,加上底座摄像头,没有触觉传感器,也没有力传感器,整体配置非常基础,成本也很低。
当然,增加更多传感器理论上会提升性能。但如果学习方法足够好,其实可以在一定程度上弥补感知能力的不足。例如,手腕上的摄像头,可以在一定程度上替代触觉传感器,因为在接触物体时,可以通过视觉观察到局部形变,从而间接获取 "触觉" 信息。
Patrick: 从 80、90 年代的专家系统,到后来 "规模本身就是关键" 这一经验转变,其实是有一定反直觉性的。你不再是针对某个具体任务去手工设计规则,而是通过大规模数据,让系统自行形成能力。在这个框架下,一个关键问题是,机器人领域的数据 "蓄水池" 从哪里来?如何构建这样一个足够规模的数据来源?
Sergey: 目前其实没有人真正知道实现具备强泛化能力的具身智能,究竟需要多少机器人数据。但我的判断是,这个问题本身并不需要被精确回答。更关键的是,要把系统推进到一个 "足够有用" 的阶段,让它能够进入真实世界,并自行获取更多数据。
可以参考 Tesla 的做法。他们并不会担心数据是否足够,甚至更多时候面临数据过多的问题。换句话说,重点不在于预先计算出一个终极数据集的规模,而在于构建一个能够可以覆盖多种任务、持续产生数据的系统,一旦这一点成立,就可以持续从世界中获取数据,并不断自我强化。
Patrick: 你提到了 Tesla 这个例子,它的关键在于:即使没有 AI,系统本身也已经有用,人类在驾驶的过程中同时完成了数据采集,从而形成正向飞轮。那为什么不从单一、明确有用的机器人形态出发,先做一个"足够有用"的产品,再用类似的方式启动这个数据飞轮?
Sergey: 这其实这是一个不错的思路。
Patrick: 你们会考虑沿着这个方向去推进吗?
Sergey: 我不认为这里只有一种正确路径。有些场景下,人类远程控制部署系统是很合理的;也有一些场景,更适合采用部分自主的系统。这本质上取决于具体应用领域,因为机器人并不是单一形态的产品。在家庭场景中,用户就不希望有一台始终由远程人员控制的机器人;但在某些特定应用中,这一点可能并不构成问题。

机器人语境下的常识与挑战
Patrick: 如果以 Physical Intelligence 的成立为起点,到今天为止有没有什么让你感到意外的发现,或者在研究推进方式上,有哪些出乎预期的地方?
Sergey:让我比较意外的点是在 "灵巧性"*(dexterity)*上的进展,比我原先预期要快得多。
预料之内的是随着数据规模不断扩大,模型在泛化能力上会稳步提升,处理更多不同场景、不同物体。但让我惊讶的是,在没有做太多针对性设计的情况下,系统也能够实现相当灵巧的操作能力。
类似的情况也出现在 "跨形态适配" 上。 我们的模型可以在多种不同机器人上运行,包括多指机械手、不同自由度的系统等。当然,这一过程中仍然需要数据,也需要一定程度的微调,但模型本身的结构并不需要改变,甚至不需要通过提示就明确知道当前对应的是哪一种机器人形态,这一点也出乎我的预期。
原本我以为,要让系统适应更快、更复杂、更高灵巧度的任务,以及不同类型的具身系统,需要引入更复杂的机制。但实际结果是,这些能力在一定程度上可以自然泛化出来。
Patrick: 我一直很关注能力分布这个问题,尤其是哪些方面的进展,其实已经超过了大多数人的预期;以及相反,哪些能力仍然明显落后于人们的想象。
Sergey: 机器人学者们经常提到一个概念,叫 Moravec's paradox,它在整个 AI 领域都成立,但机器人领域尤为明显。我们存在一种认知偏差,会下意识认为,对我们来说容易的事情,对机器应该也容易。比如,大多数人觉得解微积分很难,但拿起一个杯子却很简单,于是我们觉得,机器应该更容易做到后者。但实际情况恰恰相反。
那些对我们来说简单的事情之所以简单,是因为如果我们做不好这些事情,就无法生存。比如我们很擅长在丛林中发现老虎,因为那些不擅长的人早就被淘汰了。正因为这种原因,我们产生了认知偏差,误以为某些事情应该很容易,但在工程实现上却极其困难。
不过,机器学习正在改变这个局面。如果用传统编程方式,让系统在任意环境中抓取任意杯子,这是非常困难的;但如果使用机器学习方法,只要有足够数据,这件事其实并不那么难。
我认为,未来会出现一个趋势,**容易获取数据的领域,会逐渐变成"容易问题",即使它们在物理上很复杂。**但也会存在相反情况,难以获取数据、需要依赖常识、需要在多个抽象层级上进行推理、需要把在其他场景中学到的物理技能,与从互联网获得的知识结合起来,这些问题仍然会很困难,但这也正是未来需要技术突破的方向。
Patrick: 你之前提到 "常识" 具体是指什么?
Sergey: 在机器人学习语境下,可以把 "常识" 理解为,把从其他领域学到的知识通过语义推理,应用到当前的物理任务中。可以把常识看作是 "肌肉记忆" 的对立面,所谓肌肉记忆,比如在运动中反复练习某个动作,到最后几乎不需要思考,就可以自动完成。
而我理解的常识是,不一定是标准定义,你通过观察、阅读或听闻,知道某些事实;当你进入一个新的情境时,这些事实恰好与当前任务高度相关,你能够建立这种关联,把这些知识应用到当前环境中,并做出正确决策。
Patrick: 你能谈谈 "机器人奥运会"*(Robot Olympics)*这个概念吗?

Sergey: 有位叫 Benjie Holson 的研究者,之前在 Everyday Robots,Alphabet 旗下已经解散的项目工作。他花了很长时间思考机器人可以执行的任务,写过一篇很有意思的文章。他提到,中国曾举办过类似 "机器人奥运会",机器人在赛道上跑、跳等。但他认为,这些可能并不是真正值得关注的挑战。
他提出,围绕人类日常任务来设计这个奥林匹克,也就是人类觉得很简单,但机器人却很难完成的事情,比如开门、清洗带油污的平底锅、用塑料袋捡狗粪等。虽然对人来说不难,但当前机器人系统基本都做不到。他大概列了十几个这样的任务,后来我们就尝试去做这件事,不过这并不是一个正式的研究项目,更像是一次测试。我们当时建立了一套流程,可以不断接入新任务,就想验证一下:如果给定一组任务,直接用这套流程去处理,是否能够奏效。从某种意义上说,这更像是在测试我们内部流程和模型训练体系。
结果是,我们几乎完成了所有任务,只有就是把衬衫翻面没做到,因为机械手的夹爪伸不进袖子,可能需要更换夹爪设计;另外还有个 "技术性失败" 剥橙子,原本要求用手指完成,但我们的手指力度不够,所以用了类似小刀的小工具。除此之外,其他任务基本都完成了。
对我而言更有意思的是:这些视频本身就很 "酷",背后并没有做任何针对性的专门开发。我们只是把这些任务当作一个测试案例,直接用已有的任务接入流程来跑。这说明当系统具备足够的通用性时,可以在不增加额外复杂性的情况下,快速覆盖各种看似 "杂乱" 的任务,反映出通用能力的价值。
Patrick: 我很好奇,像你提到灵巧性、或者在精细控制受限情况下展示的这类 "超越人类" 能力之外,还有哪些维度是你认为机器人可能超越人类的?在 Physical Intelligence 中还有哪些趋势让你觉得特别有意思?
Sergey: 我们之前做过一个任务,让机器人去插各种线缆,比如电源线或者网线。人在做这件事时,如果没有经过大量练习,通常会频繁停顿。因为这不仅是一个纯粹的物理动作,还需要确认对齐、角度是否正确等等认知判断,所以整体会做得比较慢。
如果是通过遥操作控制机器人,整个过程会更慢,因为中间多了间接控制。但对于机器来说,其实可以比较直接地把这些 "停顿" 识别出来并去掉,从而显著提升速度,更高效地执行。一种通用的方法是用强化学习来优化这个过程,当然,如果只是追求速度,也有一些更简单的技巧可以实现类似效果。
这是一个典型例子。人类之所以慢,是因为存在信息处理的瓶颈,需要不断判断当前状态;而提升处理速度,本身正是计算机系统擅长的方向。
Patrick: 另一个很有意思的差异是,现在几乎所有人都用过聊天机器人,一问一答是常态。但现在我们也开始看到,在代码生成等场景中,你可以给它一个更复杂的任务,它可以连续执行很长一段过程,衡量标准变成 "它能在多长时间内不出错地完成"。那机器人领域,对应的 "长程能力" 是什么?
Sergey: 这是我们当前重点在推进的方向。从方法上看,其实和你刚才说的并没有本质区别。目前我们的模型,是通过类似 "思维链" 的过程来对任务进行推理。一旦具备这种机制,就可以支持非常长时序的任务。比如,一个机器人可以完成一整套流程:把洗碗机里的餐具全部拿出来,放进对应的柜子,擦拭台面等等。
一个有意思的发现是,大约在 6 个月前,我们发现模型已经发展到一个阶段,可以仅通过高层指令的监督来持续改进。具体来说,把机器人放到一个新的厨房,让它执行清理任务,中间一定会在某个环节失败。传统做法是增加更多遥操作数据,去覆盖更多不同厨房场景。
但我们做了一个尝试:不再增加遥操作数据,而是只对机器人已有的执行过程加上语义层面的标注。也就是说,把它经历过的过程用语言描述出来,但不增加任何新的底层动作数据。
结果发现,这种方式同样可以提升模型的泛化能力。
这意味着一个关键变化:系统的瓶颈,已经从底层执行能力,转移到了中间层,对场景的理解以及选择下一步动作的能力。而这一层,是可以用语言来监督的。这很重要,因为这意味着,人可以直接通过对话的方式来指导机器人,本质上是在对它进行实时 "教练式" 优化。

多种技术共促发展,产业落地仍有很大探索空间
Patrick: 我们已经开始看到大语言模型在工作、商业以及整体经济中带来的变化,在工程领域的变化也已经非常明显,你是如何看待机器人领域可能出现的类似阶段?当系统既通用、又有用之后,世界会如何高效地部署它?以及你预期在这一阶段初期,哪些方面会最先发生变化?
Sergey: 这是很有意思的问题,说实话我也不太确定,大家可能会有一些猜测,但很难有人能提前预测大语言模型会如何演进。
我还是会回到最核心的想法,关键在于让更多人去尝试不同的可能性。 大语言模型的一个重要特点是,它的应用门槛很低,很多人可以很快做出一个有意思的原型,底层可能只是调用 ChatGPT 等模型,但他们可以快速实验、反复尝试,看看能做出什么。
这种模式的价值在于:当大量聪明的人同时在不同方向上快速迭代和试错时,会产生很强的创新能力。 这也是为什么 Physical Intelligence 非常重视社区参与,我们开源了模型,也希望和更多机器人公司合作,因为我们相信,让更多人参与、尝试更多方向,本身就是推动这个领域前进的重要力量。
Patrick: 像 Elon Musk 经常说 "工厂本身就是产品",整个体系里最难的部分其实是规模化,无论最终形态如何,都要把它做到一亿台的量级。你是如何思考这部分?还是说在当前阶段,这件事还比较遥远,不值得投入太多精力?
Sergey: 不,这确实是很重要的问题,只是我不确定它是不是当前最需要优先解决的部分,但它肯定是体系中的一环。从我前面的回答你可能也能看出来,我更倾向于先把 "最难的部分" 解决掉,然后在其他环节上释放更多实验空间。
规模化制造机器人本身就很难,如果你甚至还不确定最终运行的软件是什么,也不确定机器人形态是否正确,那么规模化会更加困难。所以我认为,通用型 AI 工具,比如机器人基础模型的重要价值,是可以先降低其他很多不确定性,让整体方案更加清晰。当真正进入规模化阶段时,至少可以更有把握地判断,这件事是可行的。
Patrick: 很多听这期内容的人是创业者、是公司经营者,一个很常见的问题是传统公司应该如何开始思考使用大语言模型,或者如何为这些模型持续进步做好准备?如果把同样的问题放到机器人领域,你会怎么回答?
Sergey: 这是一个非常好的问题,但也非常难回答,因为技术变化得太快了。
我用具体例子来说明,比如,有一个关键的不确定性是,机器人到底会更多依赖 "示范数据",还是更多依赖 "自主交互获得的数据并进行强化学习"?这个问题很具体,但很有代表性。
我们现在在同时探索这两条路径,而且它们显然都很重要。但对于企业来说,如果判断不同,准备方式会完全不同。如果未来主要依赖遥操生成大量示范数据,辅以少量自主经验,那企业需要构建的是一套数据采集和标注体系;但如果反过来,只需要少量示范数据,而主要依赖大规模自主经验,那整个技术和组织准备路径就会完全不同。关键问题在于,这两种模式的比例到底是 9:1,还是 1:9?这一点我们可能需要在未来几年才能逐渐看清。 而这种不确定性,会对企业的决策路径会产生非常大的影响,这也是为什么这个问题本身很难给出标准答案。
Patrick: 从商业角度来看,合理的思考方式是否是先把自身业务中的 "劳动力成本结构" 想清楚?以及你是如何看待这一点的,这项技术会如何改变 "劳动力" 本身的形态?
Sergey: 代码工具是一个很好的参考案例。
并不是说代码工具一出现,我们就不再需要软件工程师了,它提升了单个工程师的生产力。为了让这些工具真正可用,需要做一定工作让人能够使用它们,也需要持续的技术开发,让它们适配不同的应用场景。这些过程是共同演进的,而且还在不断变化,比如代码代理(coding agents)和代码补全工具本身也在演进。它确实提供了一个很好的参照,AI 工具如何与人类协同工作,提高效率同时也带来新的挑战。
我认为在机器人领域,也更可能出现类似的路径。一个更现实的图景并不是人形机器人进来,人类就离开,而是工作被重新拆分。有些部分可以由机器人完成,有些需要人与机器人协作完成;有些情况下,人需要做一些额外工作来提升机器人的效率;也有些情况下,机器人反过来提升人的效率。
整体更像是一种协同共舞,像我们在代码工具中已经看到的那样。
Patrick: 说一个你特别喜欢、但并不属于 Physical Intelligence 体系的机器人?
Sergey: 我确实很喜欢 Boston Dynamics 的机器人,尤其是最新版本的 Atlas。它在某些方面非常接近人类,但在另一些方面又明显不是人类,比如它的关节设计有更大的运动范围,可以完成一些很有意思的动作。同时也非常灵活,能够做出很惊艳的演示,我一直都很欣赏 Boston Dynamics 的工作。
Patrick: 你能谈谈 "酷" 和 "有用" 之间的差异吗?比如 Boston Dynamics 的机器人确实很酷,后空翻这样的动作非常吸引人。但从实际应用来看,很难说有什么场景真的需要机器人去做后空翻。
所以我很好奇,你是如何在 "酷" 和 "有用" 之间做取舍的?
Sergey: 我觉得我们采取的策略不一定是唯一正确的方式,在 "有用" 这个前提之下,把它做到尽可能 "酷",这点其实也体现在我们的文章和视频里。我们首先依据的是,什么样的方向最有助于把技术推进到真正通用、广泛适用的机器人基础模型。在这个前提下,我们会刻意用最困难的任务去 "压测" 系统,而这些最困难的任务,往往看起来也最 "酷"。比如,我们一开始并不是为了做一个会做咖啡、或者会叠衣服的机器人,但在构建通用系统的过程中,我们会选择这些任务作为测试,因为它们足够有挑战性,也足够有代表性,可以帮助我们判断系统能力的上限在哪里。
Patrick: 是否能从事实中得到这样的判断,Boston Dynamics 多年来一直在做非常酷的演示,但似乎并没有为客户提供真正有用的产品?
Sergey: 好问题,我认为从某种意义上讲,这个问题也同样适用于很多机器人公司。
整体来说,我认为这类演示是有价值的,前提是它们能够用来展示通往 "有用、可生产化能力" 路径上的关键挑战。当然,也可以做那种并不真正指向实用性的演示,如果演示是服务于一个明确目标的,它可以帮助人们理解未来可能会发生什么,同时也能提出一个清晰的挑战,关键在于要对挑战保持诚实。
Patrick: 你会在多大程度上去思考商业化?目前为止,消费级领域里销量最大的机器人其实是 Roomba,这点本身就有点出乎意料。当然,我们也可能正处在某种 "寒武纪爆发" 的前夜。你会花多少精力去思考:最终落地的产品形态是什么?是否可以通过某种产品路径,来启动数据积累的过程?
Sergey: 我会花时间思考,只是现在很难把它收敛成一个非常具体的答案,只是从 "可能性的空间" 去思考可行性。实际上我们在做很多事情时,无论是开发模型、尝试不同任务,还是做像 "机器人奥运会" 这样的 Demo,本质上都在做一种原型验证:如果把这些能力用于真实场景,会是什么样,会出现什么问题。
当然,真实程度是不同层级的,这确实是我们持续在思考的事情,只是目前还没有接近明确答案。
但可以确定的是,这里存在一个 "可能性空间",而我们 2026 年很多计划,也是在这个空间中进行不同方向的探索。
Patrick: 当你回看通用技术的发展历史,如果这项技术最终成立,它显然也会属于这一类。通常会看到,在核心技术周围,会有一系列配套技术共同推动它的发展。比如,大语言模型显然是你们工作的直接补充,除这点之外,还有没有相对不那么直观、但同样在支撑你们的技术方向的领域或趋势?
Sergey: 有一个很有意思的变化是,机器人硬件在过去几年里变得大幅更便宜了。
大约十年前我刚开始做机器人研究时,用的是一台叫 PR2 的机器人,成本大概在 40 万美元左右。我后来在 Berkeley 建立实验室时,使用的机器人价格大约在 3 万美元;而现在,这种设备上的单个机械臂,成本可能只有当时的十分之一,甚至还有继续下降的空间。

这并不是单一技术带来的变化,而是软硬件共同作用的结果。比如我们现在使用的一些低成本机械臂,如果放在传统工业环境中,其实并不适用,因为依赖高精度的传统控制方法无法很好地利用它们。正如你刚才提到的,这是 "多种技术共同作用" 的结果,这些技术进展一起推动了成本下降,也使得今天去思考通用机器人,变得更加现实。
Patrick: 如果有人希望以相对技术性的方式,持续跟踪领域内的重要进展,这些信息通常会在哪里出现?
Sergey: 很多信息其实都体现在论文里,不过论文并不是一个很容易获取信息的渠道,因为需要花一些精力去筛选,判断哪些是 "信号",以及这些结果到底意味着什么。论文通常是写给已经熟悉该领域背景的人看的,是建立在过去研究基础之上的,但这确实是一个重要来源。
另外,机器人领域,包括更广泛的技术领域,有一个特点是,面向公众的内容,比如演示视频或社交媒体上的展示,往往并不能很好反映真实的技术状态。因为这些内容更多是在展示能力的 "边界",而不是完整能力本身。
要真正理解这些演示意味着什么,通常需要更深入的分析。因此论文仍然是最主要的渠道,有时候甚至还不够,还需要直接和研究者交流,才能了解更真实的情况。 这或许并不是一个理想的信息获取方式,但科学研究本身往往就是这样运作的。
Patrick: 你的立场很有意思,既身处研究的中心,也会和各种不同背景的人交流、被提问。有没有问题是你觉得大家没问,但反而应该被问到的?
Sergey: 你刚才关于企业应该如何准备的问题,其实就有一个很重要的变体。例如,如果我想在某个具体场景中开始使用自主机器人,我应该从哪里入手?是先搭建运营体系?还是需要对任务本身做一些改造,让它更适合机器人执行?还是应该重新设计硬件,比如做一套新的设备来适配你们的软件?
很多人会在这些问题上做假设,比如一个常见的假设是:既然机器学习需要数据,那我就先去想办法收集数据。但这往往不是最好的出发点,因为关键不只是有没有数据、数据是否合适。有些数据虽然容易获取,比如人类操作的视频,但这并不意味着它对训练是有效的。
而且这很大程度上取决于具体场景,也取决于你对技术路径的判断。 所以我觉得,这里存在很多默认前提,而这些前提本身未必成立。即便你问我,我也不一定有一个标准答案,但可以确定的是,这里有很大的探索空间。

是否采用端到端学习仍有争议
Patrick: 在你们机器人研究社区中,目前有争议问题主要是哪些?
Sergey: 显然我是做学术的,"争议" 往往就是在会议上的争论(笑)。不过从个人经历而言,演进路径本身很有意思。
早期,我和别人最核心的分歧在于,"学习" 在机器人 AI 中到底有没有价值。一部分原因在于传统工程体系中,机器人和软件系统看起来是非常不一样的,机器人是物理实体,会影响周围环境,涉及安全问题,也会进入各种复杂甚至异常的情境。因此,相关研究社区花了很长时间,才逐渐接受这样一个观点,不一定要把物理知识显式地编程进去,比如在规划时,不一定要在机器人内部放物理模拟器,也可以让系统自己去 "学会" 这些规律。
到现在,大家基本接受 "学习" 在机器人中的重要性,但对于端到端学习是否是正确路径,仍然没有形成普遍共识。换句话说 The Bitter Lesson 就是不应该把人类认为机器 "应该如何思考" 的方式编程进去,而是让它从数据中学习,这个观点并没有被普遍接受。
知名计算机科学家、现代计算机强化学习领域的奠基人
Rich Sutton 2019 年发表关于 AI 研究领域的反思文章
我认为反对声也有合理的论据,一个强有力的反方观点是,如果你想在一个极其复杂的开放世界中获得可靠性,就不得不利用我们已掌握的物理世界知识,毕竟这些内容在教科书里已经非常丰富了,那为什么不直接把这些知识接入系统中?
Patrick: 那什么是组合学习*(compositional learning)* 能解释一下吗?
Sergey: 一个更直观的例子是,这来自我学生的想法,他让一个语言模型,用国际音标*(International Phonetic Alphabet)来写一个 "三明治制作步骤"。国际音标通常只出现在字典里,用来标注单词的发音,是一套非常特殊的符号体系,你几乎不会看到有人用它来写完整段落。但如果让一个足够好的语言模型来做,它是可以用国际音标写出完整段落的,这就是一种"组合泛化"(compositional generalization)*。也就是说,模型从未见过这种具体的表达方式,用这种字母体系去写段落,但它理解 "段落" 是什么,也理解不同符号体系是可以组合使用的,因此能够完成这个任务。
类似的能力也可以应用到机器人中,模型可以先学习一系列基础技能,然后通过组合和重组这些技能,去解决新的问题。
Patrick: 这难免让我思考,你认为对于机器人系统来说,最后一类才会被实现的任务会是什么?
Sergey: 我觉得,给婴儿换尿布会非常非常难。这本质上还是 Moravec's paradox 的体现,人类在某些能力上非常强,比如物理操作能力,以及与他人的互动能力,这些能力本来就是我们生存的核心。所以那些涉及人与人互动的行为,比如真正去帮助别人,协助一个人下床等,其实比人们想象要难得多。我认为像养老护理、照顾婴幼儿这类任务会非常困难,而且很可能比大多数人的预期还要难。
Patrick: 而且这类场景的风险非常高。我肯定希望我的孩子是最后一批才交给机器人照顾的。
Sergey: 很多场景的风险系数都很高,只是这个例子可能更极端,让人误以为事情比实际更容易。因为人类在与他人互动、进行物理操作这两方面是高度进化过的能力。比如你帮别人上楼、或者扶人下床时,其实并不需要刻意思考每一个步骤,你就是 "知道该怎么做"。我认为,这正是 Moravec's paradox 的一个典型体现,甚至可以说是最极端的体现。
Patrick: 如果把大语言模型类比为一个 "已经学过几乎所有知识的头脑",那当我们去想象一个机器人模型的 "大脑" 时,它有哪些尚未被覆盖的盲区?还有哪些关键领域,是它还没有真正理解、难以进入或难以学习的?
Sergey:人类有一项非常突出的能力,就是用 "物理类比" 去理解其他情境。
我不确定大语言模型是否具备,但人类确实不仅在日常生活中、还有处理复杂问题时,都大量使用这种方式。比如你说 "一家公司有很强的动量*(momentum)*" 这是一个物理类比,但你立刻就能理解它的含义,我不需要额外解释。但如果仔细想,这其实是一个非常复杂的概念,"动量" 这个词背后承载了很多东西。
还有 Richard Feynman 的访谈中提到自己在理解亚原子粒子时,会使用 "自旋*(spin)*" 等词汇来类比,粒子其实并不像陀螺那样在旋转,但这些类比帮助我们建立理解。**更重要的是这些类比还支持推理,甚至导出新的结论,而且这些结论往往是成立的。**这其实很不寻常,人类对物理世界的理解非常深,以至于你既可以在日常语言中说 "一家公司有很强的动量",也可以用类似的方式推进基础物理理论。
大语言模型不确定是否真正具备这种能力,但对于物理交互、因果结构等更深层的理解,仍然有其特殊性,而人类显然从中获得了大量能力优势。
Patrick: 还有一个很让人惊讶的事实是,从全球范围看,真正推动 LLM 进展的人其实非常少,比如像 Ilya Sutskever 这样的人。那在机器人领域是什么情况?全球范围内,真正对这条技术路径产生影响的人,大概有多少?以及,我想追问什么才算是 "好的研究"?
Sergey: 我觉得这类问题在科学领域其实很难回答。因为当我们回看历史时,往往会倾向于强调某些关键节点,比如机器学习中,你可以说 AlexNet 是一个重要突破,这当然没问题。同样重要的一点是,这些进展之所以发生,是因为有大量的人在不断尝试各种不同方法,其中很多尝试甚至是失败的,但这些失败本身也具有很强的启发性。
我之前提到过,围绕端到端学习存在争议。某种程度上,如果没有这些争议,机器人学习未必会以同样的方式发展。我们可以回顾成功案例,指出哪些人多次取得重要成果。但在真实的科研过程中,推动进展的并不只是这些 "成功时刻"。很多失败、甚至一些看起来不那么好的想法,也在不断修正方向,把研究推向更好的路径。
Patrick: 是的,你之前举的例子就很有意思,比如研究方面的洞察,只要给系统一些 "指导",它就能变得更好。这类洞见似乎非常有力量,而且杠杆效应很高。我想追问你对于什么样的人能成为优秀的研究者有哪些体会?
Sergey: 研究和工程确实是不同的,因为在研究中,关键是回答一个问题,而这往往需要在某些地方做取舍、甚至 "走捷径"。研究中最微妙的决策之一,是什么时候应该尝试新的方向,什么时候应该坚持当前的路径,这是非常难判断的。如果判断错误,或者没有坚持足够久,可能已经非常接近答案,但却在最后一刻停下了,会非常可惜。反过来,你也可能在一条永远不会成功的路径上投入多年时间,一直 "死磕" 却没有结果。因此如何在 "适当转向,去探索更多可能性" 和 "继续深挖当前问题,因为答案已经很接近" 之间做判断,往往是最关键的能力之一。有些人对这个判断有很强的直觉,这一点非常重要。
Patrick: 你长期身处这个领域,也属于顶尖研究者之一。那么这些优秀研究者在 "人" 的层面上,有什么共性?他们和普通人相比,通常有哪些显著差异?
Sergey: 其实没有本质区别,那些我非常尊敬、很出色的人,很难总结一套统一的人格特质。**唯一的共性可能是,没有真正的共性。**如果非要说一点的话,也许是做有效的科研需要某种程度的热情。但即便这种热情,来源也可以完全不同。
我见过一些非常高效的人,完全是被 "新奇" 驱动的,他们并不关心技术最终能做什么,也不关心是否有用,只是想不断探索新的想法;也见过另外一些人,他们非常专注于解决某个具体问题,同样在做系统、跑实验,还是反复打磨某个细节中非常投入,只要能解决问题,做什么都可以,这两种类型的人行动力都很强。
"我在研究者中偏乐观、创业者中偏保守"
Patrick: 当你展望未来推进工作时,哪些部分让你感到最不确定?
Sergey: 时间线是很不确定的,某种程度上我对时间的判断其实比刚开始时更乐观了一些,但它依然不确定,因为这项技术本身具有一种 "冷启动难题"(bootstrap challenge),需要先达到一个足够有用的水平,机器人才能被部署,去执行真实任务,并在开放环境中大规模获取数据。
而一旦跨过这个门槛,就会出现一种 "跃迁式" 的变化。因此时间点本身就存在很大的不确定性。
同时,不同技术路径也会显著影响时间线。比如之前提到,是通过遥操作收集数据,还是通过自主系统收集,或者采用某种中间形态,比如共享控制、或者 "教练式" 交互,都会改变部署方式以及在真实环境中获取数据的路径。因为这些因素叠加在一起,我认为时间上的不确定性是相当大的。
Patrick: 我们刚才聊了很多长期、不确定的时间线。那么你们现在最直接、最具体、也最可见的下一步要解决的问题是什么?
Sergey: 在不透露太多细节的前提下,可以说我们当前的一个重点,是更好地理解这个问题中的 "中间层推理"(middle-level reasoning)。因为我们觉得,在获取底层物理行为能力这件事上,已经有比较清晰的路径。但要让这些底层能力真正实现泛化,就需要引入大量常识性知识,而这些知识的表达方式本身可能非常关键。
大语言模型在某些表示方式上非常方便,比如可以很容易地把文本转化为文本。但这不一定是具身系统最合适的表示方式。在实际场景中,系统有时需要以空间结构来思考,有时需要语义层面的表达,有时可能还需要其他形式的表示。
因此,一个关键问题是如何组织这种内部的 "思考过程"。 而这个问题的答案,很可能在具身基础模型领域,与在大语言模型领域是不同的。这是我们目前在具体推进的一个方向。
Patrick: 如果把最了解行业、最活跃的一百位研究者聚在一起来判断,这项技术最终是否会达到接近 "无限能力"、以及这一进展大概会在多久发生,你觉得你的观念大概分布于什么位置?
Sergey:在传统机器人研究者中,我算是偏乐观的一端;但如果和机器人创业者相比,我反而是偏保守的一端。
这个对比其实挺有意思,创业者天然更乐观,这很容易理解。至于为什么我在研究者中偏乐观,是因为机器人领域有很长的历史,但真正成功的案例其实并不多。换句话说,尤其是在机器人 AI 这部分,如果客观来看,现在大多数在实际工作中发挥作用的机器人,仍然运行的是 1980 年代发展起来的技术。这也说明,这个问题本身非常困难,并不只是某一代人的问题。正因为如此,保持谨慎是有理由的。即便我们在某些子问题上取得了进展,仍然有很多其他问题尚未解决。
而我之所以相对乐观,是因为我对过去哪些地方困难有比较具体的体感,也能够看到一些可能的 "拼图块",可以用来解决这些问题。但另一方面,就像我的联创 Karol 常说的:当你爬上一座山之后,才会发现后面可能还有更多的山。而在机器人领域,我们已经见过太多这样的 "山"。
Patrick: 考虑到这个领域需要长期投入和耐力,你最受哪些人或事的激励?
Sergey: 我其实挺受 Boston Dynamics 启发。技术路径上当然有待商榷,但持续展示那些原本被认为不可能的能力,本身就是有价值的。即使这些展示背后有不少前提和限制,它们依然在改变人们对可能性的判断。
另外,我也很受那些能创造 "实验氛围" 组织的启发,有些研究机构在这方面做得很好。 我认为 OpenAI 就是一个例子,它创造了一种环境,让个体研究者可以尝试想法,并把这些想法推进下去。比如 ChatGPT 在一段时间里其实更像是 John Schulman 的个人项目,而不是自上而下规划的公司战略。这种让个人项目成长为具有全球影响力成果的机制,是很有启发性的。
在 Physical Intelligence,我和联创也希望尽量创造类似的环境。不过这件事本身很难,要让一个组织具备这种能力并不容易。
**Patrick:**Google 以前也有类似的机制,比如允许员工拿出一部分时间做自己想做的项目。这和你说的氛围是同一种精神吗,还是有区别?
Sergey: 我刚在 Google 工作时,真的很震惊于自己能够拥有的那种"杠杆感"。比如 2015 年,我和同事一起做过的项目,内部叫 "Arm Farm"。我们把几十台机器人放进一个实验室,让它们去采集数据。


这个项目完全是自下而上的,我只是听说有个仓库里堆着很多没人用的机器人,就去问 Jeff Dean 和 Vincent Vanhoucke,能不能把这些机器人搬到实验室里用。我的预期是他们不太当回事,我刚加入,还只是比较初级的研究科学家。但 Jeff 的反应是,可以,做吧,你需要什么?我当时的感受是,自己从来没有想过会有这样的空间和影响力。
当一个地方能让人释放创造力,并给予这种自主性,就有可能变成一个非常不一样的地方。





