蓝驰对话银河通用、智元机器人、灵初智能：当具身智能走进现实｜通往AGI之路

作为真实世界与人工智能系统交互的关键机制，具身智能被广泛认为是通向AGI的关键路径。

在蓝驰创投2024年度基金合伙人大会上，蓝驰创投合伙人曹巍对话了银河通用创始人兼CTO、北京大学助理教授、智源学者王鹤，智元新创技术有限公司研究院执行院长兼具身业务部部长姚卯青，以及灵初智能创始人兼CEO王启斌，他们探讨了很多有趣的问题——

不断推陈出新的demo，什么样的智能表现才算真的好？具身智能关键技术演进的速度如何？从demo演示到实际应用，从科学研究到产业落地，这场对话是一场对具身智能的现在与未来的深刻思考。

我们整理了一份对话实录，希望能带给你启发和灵感：

曹巍：今年具身智能领域非常火热，从年初到年末，每隔不久我们就能看到一个新的具身智能demo。在座的三位都是研究和产品开发方面的人才，当你们观看这些demo时会关注哪些方面？如何评判其智能表现是否足够优秀？

王鹤： 我们之前在蓝驰的活动中也多次展示了银河通用的产品Galbot的应用——你用手机下单，Galbot会直接走到货架前，帮你抓取饮料、零食等各种商品。这个货架场景明显面向的是千亿级的零售前置仓、物流市场、车厂等。**demo中展示出的泛化性、速度和准确度都能给大家更强的信心，即具身智能不仅存在于论文和视频之中，而且能在不久的将来进入这些场景当中。**银河通用率先与美团合作大规模落地的产品，其所需要的技能在演示中已经完全展现。

**姚卯青：**demo跟实际表现之间是否有差距还是需要线下互动去检验的。以Figure 02在BMW工厂放铁块为例，据真正到过工厂的参观者反馈，它其实在泛化性以及位姿变化方面还是需要提升的；同时因为他们采用了纯双足构型，在实际运营中也有跌倒的情况存在。我看demo时对算法关注不多，会更关注构型，因为硬件还是现阶段限制的因素，如臂、腕关节、灵巧手的设计，是否能给人耳目一新的感觉。

波士顿动力以它的本体设计和关节强悍著称，但在整个作业流程中，可以看出它的上半身和下半身是通过解耦的算法来控制。 比如取放物品位置是固定的，不是基于通用导航能力、而是基于建图后的导航能力。抓取的部分，也是基于模块化的CV（计算机视觉）设计，提前检测物体然后规划落爪位置。

特斯拉的视频中也展示了不同代际的技术能力，如抓电池的demo使用的是端到端技术，泛化性要求不高，位置很固定。但是最近的那个端东西的demo又看到了关键点识别、物体检测分割的能力，好像是上一代的基于视觉的技术。我们作为企业接触到的一线需求，也会让我们思考它这些动作在落地场景上会不会受到客户很大的质疑，比如它成功率真的那么高吗？节拍和人一样吗？

王鹤： 波士顿动力的核心技术其实是KFC Fusion，运动学、力和相机的结合，是对已知物体进行位姿追踪，在MPC的框架下跟随一条已经设计好的运动轨迹移动，也就是说物体怎么运动是提前设计好了的。它技术的先进性依然在于控制，任务的开放性和物体的泛化性都没有得到体现。轮式底盘的机器人就不需要控制，因为它们根本不会摔倒。

王启斌： 在工业界真正落地的产品需要达到99.9%的成功率，概念验证需要95%的成功率。很多投资人都在问我PMF，我觉得可以看一个指标：**整机出货量。**大家都喜欢谈论GPT moment，**但我个人更信奉的是Tesla 的Model S moment。**Model S第一年的出货量在 2000 多台，第二年一万台，第五年十万台，第十年一百万台。Model 3 用这个范式快速迭代，第二年出货十万台， 第五年一百万台。对整机公司来说，在达到1万台出货量之前，先看到达1000台的出货量的时间。

曹巍： 你认为当前的具身智能面临的最核心的技术挑战或关键卡点是什么？

**王启斌：**最大的挑战依然是数据。数据问题不在于数据量有多少，而是在于我们需要多少合成数据和真机数据，要把合成数据的智能发挥到最大。

另一个问题用什么方法来获取数据。数据有三个发展阶段，一是公司内部实验室的数据，二是国内大部分正在建设的数据中心，三是在真正的头部客户的场景中使用。这三个阶段是否都需要有真机、有车呢？我们觉得未必，可能也有方式来做到低成本采集真机数据，配合合成数据快速让模型迭代。

曹巍：可以看到大家既有技术的前瞻性又有清晰的产业侧的落地规划，这些其实都跟对技术边界的洞察和理解有关。那么在你们看来，未来两到三年的短期，以及三到五年的中期，具身智能技术的迭代将呈现怎样的图景？

王鹤： 不要认为具身智能就等同于具身AGI，这之间是需要时间的。所以现在我们讨论具身智能的基础模型时，不应期望所有技能——如织毛衣或系鞋带都被包含在一个模型里，而是应该专注于那些能够落地、需求量大、且成功率和可靠性都能达到一定水平的技能。

从学术前沿到产业应用，我觉得都应专注于移动、抓取、放置（Mobile pick and place）——即移动机器人能够在正确的地点正确地抓取物品并把它放到正确的位置。 零售餐饮配送、酒店招待服务等很多应用场景都在这个范式中。它不涉及特别精细的操作，通过现有的图形学仿真接触模型完全可以达到与真实世界相当的物理真实度，更复杂的操作技能可以在此基础之上再逐步解决。

银河通用的中短期目标是，从现在到未来的三到五年，把"一倍速"的移动、抓取、放置做得越来越好、越来越泛化、越来越成功，从而展开一个千亿规模的人形机器人应用市场。中长期来看，银河通用要不断地向更深的技能延展，比如洗衣服其实也是pick and place，我觉得应当要切入到这个家庭场景中的至少一个全任务流程。如果人形机器人能把洗衣服这件事情做好，这将成为人形机器人走向家庭端的重要"杀手级"应用，这个目标可能会在五年后实现。

姚卯青： 我觉得具身智能发展还是围绕AI的主要元素：硬件本体、算法、数据。

首先看算法，最近发布的《全国首批人形机器人具身智能标准》里面将智能化等级从基础到高级划分为 G1-G5 五个阶段，目前我们大概处于G3阶段，就是能够针对单一任务实现端到端模型，达到高节拍和高成功率。**G4是下一个阶段，把不同任务的端到端模型发展成通用模型，并且通过指令跟随方式实现指哪打哪。**我比较乐观，比如像把脏衣服放入洗衣机、洗完后烘干并叠好，这样的任务我觉得明年可能就能实现。

其次是数据，数据是限制具身智能发展的关键因素。不像大模型有海量的免费互联网图文数据可以直接获取，具身智能更多需要虚拟或现实中操作的关节本体的传感器数据。目前这些数据是缺失的。不过今年许多公司开始大规模采集真机数据，粗略预计这样采集一年后，数据量可以达到大语言模型的token数。如果数据能突破，很多初级应用的发展可能会快于我们的想象。

还有一点，我觉得本体的改进在未来几年对具身智能的发展至关重要，会呈现螺旋式上升。更好的本体将催生新的算法，新的算法挑战本体的上限，进而推动本体更高的发展。 比如我觉得灵巧手可能是未来机器人研发中会占一半投入的重要研发方向，因为人类就是因为这双手而区别于动物嘛。所以灵巧手及其对应的传感器和触觉力觉的传感装置，会是推动具身智能螺旋式上升的原动力。

王启斌： 过去几年，四足狗这个模式的机器人在中国的发展速度非常快，是因为有Cheetah的硬件开源、ETH的强化学习算法、工程化地落地，再加上整个仿真环境里的数据。基于这个模式，我认为在未来三年内，具身智能在通用操作上可能会出现快速迭代。硬件变得更稳定、更耐用，同时有优秀的算法和数据支持。

上半身的通用操作具有非常高的价值。我们现在的焦点是双臂和双灵巧手，因为在许多实际场景中，我们需要一只手进行一个操作，另一只手进行其他操作。比如在实际操作环节中，工作人员需要左手拿几个物品，右手用扫码枪进行扫描。我们认为这样的应用在三年内有可能实现。

现在灵初智能会聚焦于多个技能组合的操作，就像大家看到的搭乐高这个操作。因为我个人认为简单的操作可能无法在复杂环境中实现落地，所以我们会把一些预抓取、抓取、放置做成一个成功率非常高的MVP（最小可行性产品），这是未来三年可以预见的成果。

曹巍： 我们有一个矩阵图，可以看到从简单场景的简单任务逐步走向简单场景的复杂任务，最后过渡到复杂场景的复杂任务的发展脉络。我认为大家的分享，都在这个矩阵图的某个位置有所体现。这一点上，大家有些争议和侧重点，这正是具身智能大爆发中生态活跃度和创新的重要体现。

接下来希望大家从硬件和软件层面谈谈，美国的头部机器人公司如特斯拉、Figure，与我们国内的头部公司如银河通用、智元机器人、灵初智能，软硬件差距有多大？你们怎么看接下来中美在具身智能通用机器人上的竞争？

王鹤： 对于特斯拉，我认为它的硬件和遥操做得确实不错。特斯拉在模仿学习上投入了非常多，但他们不敢展示泛化物体抓取的能力。银河通用采用的监督性学习和模仿学习不同，我们现在使用的VLA范式，可以在一堆杂乱的物体中抓取一个训练集中不存在的新物体。

新发布的π0模型使用了接近1000万条真实世界采集的数据，得出的结论是这些数据混训的大模型没有泛化性，不能直接在真实世界使用。真实世界的任务对新物体需要采集1000条以上的高质量后训练模仿学习数据。

而银河通用目前做的VLA，内部版本不需要后训练就可以在真实世界中对没见过的物体上实现80%以上的成功率。我们认为10亿条以上的合成高质量数据才能真正驱动泛化。目前全世界我没有看到公布的技术能够做到这一点。

姚卯青： 刚才问到中美差距，我觉得机器人还是制造业的一部分，是硬件的事情。从新能源汽车的发展来看，特斯拉真正起飞也是在上海有了Model 3、Model Y的工厂后，国产化成本下降，产品可靠性上升才带起了这一波。机器人领域也会非常相似，特斯拉自己说过，目标是要做价格2-3万美金的机器人才能规模普及，这一定是国产化才能带来的。**对于智元来说，这已经是现实而不是目标。**因为在中国，基于人工成本较低的现实，进入场景的ROI要说得过去才有可能落地。

从算法来讲，π0我个人感觉没有那么领先，也就是一些VRA加上Diffusion技术的混合。因为它也是美国公司，没有硬件本体，所以数据什么的也未必是最佳组合。从这个点来讲，今年我们自己会在基于智元的单一构型发布百万级的数据集，给整个行业共享，同时我相信会有一些比π0更好的模型发布出来。

王启斌： 包括特斯拉的Optimus第二代和Figure第二代，我特别关注的是硬件方面的两个重要进展。首先，续航能力大幅提升，Figure第二代工作时长宣称可达5小时。其次，双手的自由度大幅提升，特斯拉达到了十几个自由度，而Figure还在继续往上走。这证明了对于在真实作业场景中实现高度灵巧的操作、尤其是双手复杂操作的重要性。

从算法角度来看，特斯拉的模仿学习放电池块，我们认为这条路径是有天花板的。模仿学习依赖于人类施教的数据，一些高动态的操作，如转笔或打网球，是无法通过模仿学习获得的，超人类的髋关节动作模仿学习也无法实现。因此，灵初智能是在模仿学习之上，采用了高密度的强化学习，在仿真中大面积做合成数据的强化，以实现非常灵巧的操作，搭积木就是一个例子。

关于π0，我认为它更多是一个偏学术的研究。首先，它的臂并非仿生臂，其动作与人类差异较大，实际上训练是有问题的。其次，夹爪的自由度低，每个夹爪只有3个自由度，总共6个自由度，而我们目前做的最低配的单手6自由度的手加上7自由度的臂，双臂共26个自由度，这在当前阶段很难通过VLA训练出来。

十位蓝驰家族成员入选36氪「WISE2024商业之王年度企业」名册

蓝驰创投领投，安领科生物完成4200万美元A轮融资｜蓝驰家族

蓝驰对话月之暗面、沐言智语：站在AI行业十字路口｜通向AGI之路