DeepMind & Anthropic：当 AGI 来临后｜Vital Views
“人类处境将会如何变化？”
AGI 的演进，正在推动人类走向第四次社会变革。
在 2026 年 1 月世界经济论坛*（WEF）上，《经济学人》主编 Zanny Minton Beddoes、Google DeepMind CEO，Demis Hassabis 与 Anthropic CEO，Dario Amodei 围绕*「The Day After AGI」**展开对话，从预判、责任、风险与全球影响等角度，讨论 AGI 普及之后可能带来的一系列现实问题。
三位嘉宾并未聚焦技术细节，而是关注制度安排、全球协作与发展路径分歧下的挑战，提出了各自的判断与思考。
我们翻译并整理了本次对话，与大家分享。全文约 1 万字，阅读时间约 15 分钟。
Enjoy
我们先做出在编程和 AI 研究上都很强的模型，然后利用这些模型去生成下一代模型，从而加速整个过程。
接下来真正的问题是，这个循环会以多快的速度闭合。
——Dario
主持人： 去年我有幸主持过一次 Dario 和 Demis 的对谈。当时我就说，那感觉就像是在主持一场披头士和滚石乐队的同台对话。此后你们也再没有在舞台上一起对谈过。所以今天可以说是续集，是乐队再次合体。
我们今天这场对话的题目是 "AGI 来临之后的一天"。 这个标题或许稍微走在前面了，因为我们可能还是得先谈一谈，我们会以多快、多容易的方式走到那一步？我想先对这一点做个更新，然后再讨论其后果。
先从时间表说起。Dario，你去年在巴黎提到，到 2026 或 2027 年，我们将拥有一种模型，能够在多个领域达到诺贝尔奖级别的人类能力，几乎什么都能做。现在已经是 2026 年了。你是否仍然坚持这个时间判断？
Dario： 准确判断一件事什么时候发生总是很难的，但我并不认为这件事会偏离太远。我当初设想的路径是这样的：我们先做出在编程和 AI 研究上都很强的模型，然后利用这些模型去生成下一代模型，从而加速整个过程，形成一个不断提速的循环，推动模型研发速度持续提升。
就目前来看，在代码编写这件事上，我们已经走得很远了。我在 Anthropic 内部就有工程师跟我说，他现在几乎不再自己写代码了，只是让模型来写，然后自己做编辑和周边的工作。我觉得，也许再过六到十二个月，模型就能端到端地完成大多数、甚至全部现在由人来做的工作。
接下来真正的问题是，这个循环会以多快的速度闭合。 当然，并不是这个循环里的每一个环节都能被 AI 加速，比如芯片本身、芯片制造、模型训练时间等等。所以这里面存在很多不确定性，很容易想象，这可能还需要几年时间；但对我来说，很难想象它会拖得更久。
如果一定要猜，我会认为它的发展速度会比大多数人想象得更快。而其中最关键的驱动因素，就是代码能力，以及越来越多的研究工作，都会比我们原先预期的进展得更快。这个指数级加速究竟会有多快，确实很难预测，但可以肯定的是，一些非常快速的变化即将发生。
**主持人：**Demis，你去年相对更谨慎一些。你当时说，到本世纪末之前，出现一种能够展现人类全部认知能力的系统，大概只有 50% 的可能性。正如 Dario 所说，在编程领域的进展已经非常惊人了。你现在怎么看？你是否仍然坚持当时的判断？过去这一年里，有哪些变化？
Demis： 是的，我基本上还是维持在同样的时间判断上。我认为过去这一年的进展确实非常显著。但我也觉得，有些领域，比如工程类工作、编程，或者可以说数学，相对更容易实现自动化，部分原因在于这些领域的结果是可验证的。
而自然科学中的一些领域则要困难得多。你并不一定能立刻知道自己合成的化学化合物是否正确，或者对某个物理现象的预测是否成立，往往还需要通过实验来验证，而这整个过程都会花费更长的时间。
另外，我认为目前还缺失一些关键能力，不只是解决已有的猜想或问题，更重要的是能否在一开始就提出正确的问题，或者构建新的理论和假设。我觉得这才是科学创造力的最高层级，而这一点要难得多。并不是说我们永远做不到，但也许还缺少一两个关键要素。
同时，还有一个问题有待观察：我们现在都在努力构建的这种自我改进循环，是否真的可以在没有人类参与的情况下完全闭合。 当然，这类系统本身也存在风险，这一点我们之后肯定会讨论。如果这种系统真的能够运作起来，它确实可能会显著加快进展速度。
主持人： 风险我们等会儿再谈。不过我觉得过去一年里还有一个明显变化，就是这场竞赛中的相对位置发生了变化。就在一年前，我们刚经历了 DeepSeek 时刻，所有人都对当时发生的事情感到无比兴奋；而且市场上普遍还有一种感觉，认为 Google DeepMind 在某种程度上落后于 OpenAI。
但现在看来，情况已经很不一样了。他们已经宣布进入应急状态了*（code red）*，对吧？这一年确实变化巨大。所以我想让你具体谈一谈：有哪些事情真正让你感到意外？这一年你们做得怎么样？以及你对目前整体格局的看法？
Demis： 我一直都很有信心，我们能够重新回到排行榜的前列，在各类 SOTA 模型上全面占据领先位置。原因在于，我们始终拥有业内最深、最广的研究基础，关键在于如何把这些力量真正整合起来，重新在整个组织中找回那种强度、专注度，以及更接近初创公司的工作方式。这本身就是一项非常大的工程，而且现在还有很多工作要做。
但我认为，大家已经可以开始看到一些成果了。一方面是在模型层面，比如 Gemini 3 的进展；另一方面是在产品层面，Gemini 应用的市场份额也在持续提升。所以我感觉我们确实在取得很好的进展，当然，前面依然还有大量工作等待完成。
同时，我们也在逐步发挥 Google DeepMind 作为 Google "引擎室" 的优势，越来越习惯把模型更快地推向产品端，真正落地到各类产品场景中。
主持人： 在这个问题上我也想问你一个问题，Dario 你们现在正处在新一轮融资的过程中，估值也非常惊人。但不同的是，你们可以说是一家独立的模型公司，现在越来越多的人开始担心，这类独立模型公司能否撑到真正实现可观收入的那一天？
这种担忧在 OpenAI 身上已经被非常公开地讨论过了。你能不能谈谈你是如何看待这个问题的？然后我们再回到 AGI 本身来继续讨论。
Dario： 我觉得我们看待这个问题的方式是这样的：随着模型变得越来越强，存在一种近乎指数级的关系——不仅体现在投入多少算力与模型认知能力之间，也体现在模型的认知能力与其所能产生的收入之间。
过去三年里，我们的收入增长了 10 倍又 10 倍：2023 年从 0 到 1 亿美元，2024 年从 1 亿到 10 亿美元，2025 年又从 10 亿到 100 亿美元。当然，我并不确定这条曲线是否会持续下去，如果真的持续下去，那将是相当疯狂的。但至少可以看到，这个规模已经开始接近世界上一些最大公司的量级了。
当然，这里始终存在不确定性。我们本质上是在从零开始，把这件事一步步 "自举" 出来，这本身就是一件很疯狂的事情。但我有信心，只要我们能在自己专注的方向上持续做出最好的模型，整体就会朝着好的方向发展。
整体来说，我也认为过去这一年对 Google 和 Anthropic 都是不错的一年。我们之间真正的共同点在于，都是由研究驱动的公司，或者说，公司的研究部分是由专注于模型、专注于解决现实世界中重要问题的研究者所引领的。我们把这些艰难而重要的科学问题作为北极星，我相信，正是这样的公司，才会在未来取得成功。这一点，我觉得我们彼此之间是高度一致的。
我也把物理世界里的 AI 包括进来，比如机器人、具身智能这一整套系统。
一旦涉及硬件，本身就可能限制自我改进系统能够运行和加速的速度。
—— Demis
主持人： 我们把话题转向预测本身。虽然今天的主题是 AGI 之后的一天，但先来谈谈 "闭环" 这件事。
也就是说，模型是否有可能真正闭合这个循环，某种意义上实现自我驱动、自我推进——因为这正是 "赢家通吃" 式门槛的核心所在。你是否仍然认为，我们很可能会看到这样的系统？还是说，这最终会更像一项相对常规的技术，后来者和追赶者依然有机会参与竞争？
Demis： 我可以很明确地说，我不认为这会是一种 "普通" 的技术。正如 Dario 提到的那样，现在已经有不少方面开始体现出它的不同，比如它已经在帮助我们完成编程工作，以及部分研究任务。
但真正意义上的 "闭环"，我认为仍然是一个未知数。我觉得这是有可能实现的，但在某些领域，可能需要 AGI 本身才能做到。尤其是在那些更复杂、更混乱的领域里，你很难快速验证一个答案是否正确，这些往往属于计算复杂度很高、接近 NP-hard 的问题。
另外，我也把物理世界里的 AI 包括进来，比如机器人、具身智能这一整套系统。一旦涉及硬件，本身就可能限制自我改进系统能够运行和加速的速度。
不过，在编程、数学这类领域，我确实可以清楚地看到闭环是如何运作起来的。接下来更偏理论层面的问题是：工程和数学本身，究竟在多大程度上能够被用来解决自然科学中的问题？
主持人：Dario 去年发表了《Machines of Love and Grace》
（https://www.darioamodei.com/essay/machines-of-loving-grace）这篇文章。那是一篇相当乐观的文章，描绘了你所看到的技术潜力，以及未来可能展开的图景。你在里面提到过类似 "AI 是属于国家级数据中心的天才" 这样的比喻。
我听说你正在写一篇新文章，现在还没有发布，大家可以再等等。或许你可以先给我们一点预告：在这一年之后，你现在最大的判断会是什么？
Dario： 我的整体判断并没有改变。我一直认为，AI 将会变得极其强大。我想 Demis 和我在这一点上是有共识的，分歧只是具体会在什么时候发生。正因为它会如此强大，它才有能力去实现我在《Machines of Loving Grace》中所描绘的那些美好前景：比如帮助我们治愈癌症，可能消除热带疾病，帮助我们更好地理解宇宙。
但与此同时，也确实存在一些巨大而严峻的风险。当然，并不是说这些风险无法应对，我并不是一个末日论者，但我们必须认真思考这些问题，并且正面去解决它们。我之所以先写《Machines of Loving Grace》，并不是出于什么深思熟虑的策略，说实话，只是因为写一篇偏正面的文章，比写一篇谈风险的文章要更容易、也更有趣一些。
后来我终于休了个假，才有时间坐下来写一篇专门讨论风险的文章。即便是在写风险的时候，我依然是用一种偏乐观的方式来写的：不是强调灾难本身，而是思考我们该如何克服这些风险，如何制定一套应对它们的 "作战计划"。
我采用的一个叙事框架，来自电影《接触》*（Contact）*里的一个场景。电影中，人类发现了外星生命，一个国际委员会正在面试候选人，选出代表人类去与外星文明接触的人。其中有人被问到：如果你只能问外星人一个问题，你会问什么？其中一位角色回答说：我会问，你们是怎么做到的？你们是如何度过技术青春期，而没有毁灭自己的？你们是怎么撑过来的？
我大概是二十年前第一次看这部电影的，这个问题一直留在我心里。也正是以此作为隐喻：我们现在正站在一扇通往巨大能力的大门前，一种几乎可以 "用沙子造机器" 的能力。从人类开始使用火的那一刻起，这条路几乎就是不可避免的。但如何去使用这种能力，却并非命中注定。
所以在接下来的几年里，我们将不得不直面一系列问题：如何控制这些高度自主、在许多方面已经比任何人类都更聪明的系统？如何防止个人滥用它们？比如我对生物恐怖主义就有很深的担忧。如何防止国家层面的滥用？再比如，它对经济的影响是什么？我已经多次谈到劳动力替代的问题。以及，还有哪些我们甚至还没意识到的问题——而这些往往才是最难应对的。
因此，我一直在系统性地思考这些风险该如何被应对。这既包括我们作为公司领导者在各自组织内部需要做的事情，也包括我们彼此之间可以协作完成的部分，同时还必然需要更广泛的社会制度，比如政府，参与进来。
但我内心始终有一种强烈的紧迫感。每天，AI 之外的世界也在发生各种疯狂的事情。但在我看来，这件事推进得太快了，规模也太大了，我们几乎应该把全部注意力都投入到一个问题上：人类如何顺利度过这一关。
主持人： 所以我现在都有点分不清，究竟更让我惊讶的是：第一，你居然会去休假；第二，你在休假的时候还在思考 AI 的风险；还是第三，你整篇文章居然是围绕着一个问题展开的：我们能否在不毁灭自己的前提下，度过这项技术的 "技术青春期"。不过我真的很期待读到你的新一篇文章。
你刚才其实已经提到了好几个可以继续展开讨论的方向。我们先从就业说起吧，因为在这个问题上你一直非常直言不讳。我记得你曾经说过，在未来一到五年内，可能有一半的初级白领岗位会消失。
但我想先把这个问题抛给 Demis，到目前为止，我们其实还没有在劳动力市场上看到非常明确的冲击。是的，美国的失业率确实有所上升，但我看过的、以及我们自己写过的很多经济研究都表明，这更多是疫情后过度招聘的回调，而并非由 AI 驱动的结果。甚至可以说，很多公司反而是在为了建设 AI 能力而增加招聘。
你是否认为，情况会像经济学家一直以来所主张的那样，并不存在所谓 "劳动力总量固定" 的谬误，新的技术最终会创造出新的工作岗位？至少目前的证据似乎是朝着这个方向发展的。
Demis： 是的，我认为在短期内，情况确实会是这样发展。这基本符合一项突破性技术出现时的正常演化路径：一些岗位会受到冲击，但同时也会创造出新的、可能更有价值、甚至更有意义的工作。
我觉得今年我们就会开始看到一些影响，主要集中在初级岗位、入门级职位，比如实习生这类角色上。我们自己也能感受到一些迹象，比如这些层级的招聘节奏有所放缓。但我认为，这完全可以被另一件事所抵消——那就是现在出现了大量极其强大的创造性工具，几乎对所有人开放，而且基本是免费的。
如果我现在去和一群本科生交流，我会强烈建议他们尽可能熟练地掌握这些工具。某种程度上说，甚至连我们这些在开发它们的人，都因为忙于构建系统本身，而很难真正花时间去充分探索：即便是当下这些模型和产品，其能力 "溢出" 都还远远没有被用尽，更不用说未来的版本了。
在我看来，真正深入地掌握这些工具，可能比一份传统意义上的实习更有价值，能让你更快 "跳跃式" 地提升自己的可用性，在某个专业领域里变得真正有用。这大概就是我对未来五年内会发生什么的判断。
当然，我们在时间尺度上可能还是有一些细微分歧。但我认为，一旦 AGI 真正到来，那又是一个完全不同的问题了：因为那时，我们将进入真正的未知领域。
主持人： 你现在觉得，这件事会不会比你去年预期的时间更长？当时你说，可能有一半的白领岗位会消失。
Dario： 我的看法基本没有变化。我其实同意你和 Demis 的判断——我当时说那句话的时候，劳动力市场并没有受到影响，我也并不是在说当下就已经出现了影响。
但现在，我觉得我们可能开始看到一些非常早期的迹象了，主要是在软件和编程领域。即便在 Anthropic 内部，我也能预见到这样一个情况：在更初级的岗位，以及部分中级岗位上，我们未来需要的人可能会变少，而不是变多。我们也正在思考，应该如何以一种理性、审慎的方式来应对这种变化。
如果回到六个月前，我对 "一到五年" 这个时间判断仍然会坚持。把这和我之前说过的话联系起来看就会发现一个表面上的不一致：我们可能在一到两年内，就会拥有在几乎所有方面都超过人类的 AI，或者稍微再久一点，但劳动力市场的变化却看起来没那么快。
原因在于，这中间存在一个滞后期，以及替代过程本身需要时间。我当然知道，劳动力市场是有适应能力的。就像过去，80% 的人曾经从事农业，后来农业被自动化，人们转而成为工厂工人，再后来成为知识工作者。所以，市场确实具备一定的适应性，我们也需要以更成熟的经济学视角来看待这一点。
但我真正担心的是，当这种指数级变化持续叠加下去——而我认为这不会花太久，可能就在一到五年之间——它最终会快到超过我们整体社会适应能力的上限。
Demis： 我觉得我们其实说的是同一件事，只是把时间尺度上的差异单独拎了出来。而归根结底，这个分歧还是取决于你能多快把那个闭环真正跑起来。
主持人： 你对政府是否真正理解这件事情的规模、以及是否已经开始认真思考需要采取哪些政策应对措施，有多大信心？
Demis： 我并不认为目前在这方面投入的工作量足够。即便是在像今天这样的场合，当我和一些经济学家交流时，也常常感到意外，他们并没有更多地、以专业经济学者的方式去思考接下来会发生什么，而不仅仅是通往 AGI 这一路上的问题。
即便我们把 Dario 提到的那些技术问题都处理得很好，就业替代依然只是其中一个问题。我们担心的是随之而来的经济结构变化，也许会有办法更公平地分配由此带来的新生产力、新财富，但我并不确定我们是否已经具备相应的制度来做到这一点。理论上，那应该是一个接近后稀缺社会的状态。
但还有一些问题，是现在真正让我夜不能寐的。那是比经济问题更大的议题，涉及意义、目标感，以及我们从工作中获得的那些并不只是经济层面的东西。这是一个问题。但奇怪的是，我反而觉得，这个问题也许比 "人类整体处境将会如何变化" 更容易解决。
我对人类找到新答案这件事仍然是乐观的。今天，我们已经在做很多事情，从极限运动到艺术创作，它们并不直接以经济回报为目的。 我相信，我们会在这些方向上继续找到意义，甚至发展出更成熟、更复杂的形态。再加上，我也认为我们会开始探索星际空间，这些都会成为 "目的感" 的一部分。
正因为如此，我觉得即便按照我相对保守的时间判断，比如还有五到十年，这其实也并不是一段很长的时间。现在就应该开始认真思考这些问题了。
我们正在通过 AlphaFold、我们的科学研究，以及我们孵化出来的 Isomorphic 这样的公司，去解决疾病、治愈疾病、寻找新的能源来源。从社会整体的角度来看，这些显然都是人们希望看到的事情。
但目前整个行业在这些方向上的投入比例还不够高。
—— Demis
主持人： 你觉得，公众对 AI 的强烈反对风险有多大？这种反对会不会在某种程度上推动政府去做出一些在你看来并不理性的决策？我之所以这么问，是因为我会回想到 1990 年代全球化的那段时期，当时确实发生了岗位转移，但政府的应对并不充分，最终引发了强烈的公众反对，才一步步走到了今天这个局面。
你是否认为，未来会出现一种越来越强的政治层面的反感情绪，针对你们正在做的事情，以及你们这些公司本身？
Demis： 我觉得这种风险确实是存在的，而且这种担忧本身也是可以理解的。人们会对工作、对生计产生恐惧和焦虑。我认为接下来的几年，无论是在地缘政治层面，还是在各种现实因素的交织下，都会变得非常复杂。
但同时，我觉得还有另一面。比如我们正在通过 AlphaFold、我们的科学研究，以及我们孵化出来的 Isomorphic 这样的公司，去解决疾病、治愈疾病、寻找新的能源来源。从社会整体的角度来看，这些显然都是人们希望看到的事情。但我也觉得，目前整个行业在这些方向上的投入比例还不够高。我们需要更多像 AlphaFold 这样的案例——我知道 Dario 也同意这一点——真正去做那些对世界有明确、无可争议的正向价值的事情。
而且，我认为这不仅是 "讲出来" 的问题，而是行业、以及我们这些处在核心位置的参与者，有责任把这些成果真正展示出来，用事实去证明，而不是停留在口头层面。当然，这一切也必然会伴随着其他方面的冲击和扰动。
另外一个不能忽视的问题是地缘政治竞争。不只是公司之间的竞争，更是以中美为主的国家层面的竞争。如果在这件事情上缺乏某种国际层面的合作或共识——我认为这是非常必要的，比如在部署方面建立最低安全标准——那问题会变得更加复杂。我相信 Dario 也会同意这一点。这项技术是跨国界的，它会影响所有人，影响整个人类。
顺便说一句，《Contact》也是我最喜欢的电影之一，挺巧的，我之前还不知道你也这么喜欢。但我确实认为，这些问题都需要被认真推演、逐步解决。如果可以的话，哪怕推进AI的速度能比现在预测的稍微慢一点，甚至比我自己的时间判断还慢一些，只要能让社会有时间把这些问题处理好，我觉得也是一件好事。但这显然需要相当程度的协调。
Dario： 是的，这个情况下我也会更倾向于你的时间线判断——
主持人： 不过，Dario，我们现在还是得把这个话题展开一下。因为自从我们上一次在巴黎对谈之后，地缘政治环境如果说有什么变化的话，那就是变得更加复杂、更加疯狂，随便你用什么词形容都不为过。
其次，美国现在对中国的态度也发生了明显变化，更像是一种不设上限、全速推进的状态，但与此同时又在向中国出售芯片。这种做法本身就显得相当矛盾。美国的整体立场已经很不一样了；而在地缘政治层面，美国与欧洲之间的关系目前也处在一种相当微妙、甚至有些奇怪的状态。
在这样的现实背景下，我听你谈到类似 CERN 那样的国际组织设想，说实话，那听起来离我们当下的现实世界还非常遥远。回到现实层面，你是否认为地缘政治风险确实在上升？如果是的话，你觉得应该做些什么？而且从目前来看，政府层面的做法似乎恰恰和你刚才所倡导的方向是相反的。
Dario： 是的，你知道，我们只能尽力而为。我们毕竟只是一家公司，只能在既定的环境中运作，不管这个环境有多疯狂。
但至少在政策层面，我的核心判断并没有改变。其中最重要的一点就是：不要出售芯片。这可能是我们能够争取时间、确保有空间去妥善处理这一切的最关键举措之一。
我之前也说过，我其实更希望 Demis 的时间判断是对的。我希望我们真的还有 5 到 10 年的缓冲期。也完全有可能他是对的，而我是错的。但假设我是对的，假设这件事真的可以在一到两年内实现，那为什么我们不能主动放慢速度，去贴近 Demis 的时间线呢？
问题就在于，我们做不到。原因很简单：因为我们的地缘政治对手也在以相近的速度推进同样的技术。在这种情况下，很难达成一个真正可执行的协议，让大家一起放慢脚步。
但如果我们至少能够做到一件事，不出售芯片，那这就不再是中美之间的竞争问题了，而只是我和 Demis 之间的竞争。而这一点，我是非常有信心能够协商解决的。
主持人： 那你如何看待政府目前的这套逻辑？据我理解，他们的想法是：我们之所以要向他们出售芯片，是因为需要把他们绑定进美国的供应链体系之中。
Dario： 我觉得这不仅仅是时间尺度的问题，更关键的是这项技术本身的重要性。如果这只是电信之类的技术，那关于推广美国技术栈、在全球各地建设使用美国芯片的数据中心、确保这些国家用的是英伟达而不是华为芯片，这一整套逻辑或许还说得通。
但我并不是这样看待这件事的。在我看来，这更像是在做一个选择：我们要不要把核武器卖给朝鲜，只因为这样能给波音带来一些利润？然后我们还能说，这些武器是波音制造的，美国赢了，多好的一件事——这种类比本身，就已经足够说明我如何看待这种取舍了。我真的不认为这在逻辑上说得通。
而且，相比之下，我们过去针对中国以及其他参与者采取过不少更激进的措施，但在我看来，那些做法的效果都远不如这一条措施来得直接和有效。
主持人： 我再问最后一个问题，希望之后还能留点时间给观众提一两个问题。另一个经常被末日论者担忧的风险，是那种拥有绝对力量、并且带有恶意的 AI。我知道你们两位对这种 "末日式" 的叙事一直相对保持怀疑态度。
但在过去一年里，我们也确实看到了一些变化——这些模型开始表现出欺骗、隐瞒、两面性的能力。你们现在对这一风险的看法，和一年前相比有没有发生变化？模型的演化路径中，是否出现了一些值得我们投入更多关注和警惕的迹象？
Dario： 是的，其实从 Anthropic 一开始成立起，我们就一直在认真思考这一类风险。最初我们的研究更多是偏理论层面的。比如我们开创性地提出了 "机制可解释性"*（mechanistic interpretability）*这一方向，试图 "打开模型的内部"，去理解它为什么会做出某些行为，某种意义上就像人类神经科学家——而且我们俩本身都有神经科学背景——试图理解大脑的运作方式一样。
随着时间推移，我们越来越多地记录并识别出模型在某些情况下会出现的不良行为，并开始尝试用机制可解释性的方式来应对和修正这些问题。所以可以说，我一直对这些风险保持高度关注，也和 Demis 多次讨论过这个问题。我相信他同样对此非常重视。
不过，我确实一直对"末日论"保持怀疑态度——那种认为我们注定失败、什么都做不了，或者认为这是最可能发生结局的看法。我不这么认为。我认为这是一个真实存在的风险，但如果我们共同努力，是可以通过科学的方法逐步理解、控制并引导我们所创造的这些系统的。
当然，如果我们构建这些系统的方式是粗糙的，如果我们陷入一场不计后果的竞赛，推进得太快、完全没有护栏，那我确实认为事情可能会出问题。
主持人： 那么我也想借这个机会，把问题稍微拉高一点：在过去这一年里，你对这项技术的正面潜力——无论是科学、医疗还是你反复提到的那些领域——是否变得更加有信心了？还是说，相比之下，你对我们刚才讨论的这些风险变得更加担忧了？
Demis： 我在这个领域已经工作了二十多年。我们其实一直都很清楚，我之所以把整个职业生涯投入到 AI 上，是因为它所蕴含的巨大正向潜力——它本质上是科学和理解宇宙的终极工具。我从小时候起就对这件事着迷，而如果以正确的方式去构建，AI 本应成为实现这一目标的终极工具。
与此同时，这些风险我们也从一开始就在思考，至少从 DeepMind 成立至今的十五年里一直如此。我们很早就预见到，一旦真正释放出这些正向潜力，AI 作为一种双重用途技术，也可能被不良行为者重新利用，用于有害目的。因此，这始终是我们必须贯穿始终去考虑的问题。
但我始终对人类的创造力抱有极大的信心。真正的关键在于：我们是否拥有足够的时间、足够的专注力，以及是否能让最优秀的人才协同合作来解决这些问题。如果具备这些条件，我相信技术层面的风险是可以被解决的。
反过来，如果我们没有这样的时间和空间，事情就会变得更危险——进程会变得碎片化，不同项目、不同团队彼此竞速，在这种情况下，要确保我们构建出来的系统在技术上是安全的，就会困难得多。但在我看来，只要我们拥有足够的时间与余地，这仍然是一个高度可解、可控的问题。
主持人： 最后让观众提一个问题。
Philip： 非常感谢。我是 Philip，StarCloud 的联合创始人，我们在太空中建设数据中心。我想问一个稍微偏哲学的问题。对我来说，支持 "末日论" 的一个最强论据是费米悖论——也就是我们在银河系中没有看到其他智慧生命存在这一事实。我想知道，你们二位对此有没有什么看法。
Demis： 我其实对这个问题想了很多。我不认为这会是原因。因为如果真是那样的话，我们理应看到那些由 AI 产生的痕迹。简单给大家解释一下这个想法：如果费米悖论成立，是因为外星文明都会被自己的技术毁灭，那么我们应该能看到从银河系某个角落向我们飞来的 "回形针工厂"，对吧？但事实并非如此。我们没有看到任何那样的结构，也没有看到戴森球之类的东西——不论是 AI 的、自然形成的，还是生物文明留下的。
所以在我看来，费米悖论一定有别的解释。我自己有一些理论，但在接下来这一分钟里肯定说不完。我的直觉判断是：我们可能已经跨越了所谓的 "大过滤器"。如果一定要猜，我会觉得那个过滤器很可能发生在多细胞生命的阶段——生物演化到那一步本身就极其困难。
因此，我们现在所处的位置，并不存在一种 "接下来一定会怎样" 的既定结局。我认为接下来会发生什么，是需要由人类自己去书写的。这本来可以展开成一场非常精彩的讨论，但显然已经超出了接下来这几十分钟所能覆盖的范围。
主持人： 最后一个问题每人 15 秒回答就好，等到我们下次再见，希望是明年，也希望还是我们三个人，到那时，你们觉得会有什么已经发生变化了？
Dario： 我觉得最值得关注的一点，还是 AI 系统开始构建 AI 系统这件事会如何发展。这条路径究竟会朝哪个方向走，将决定我们距离终点是还有几年时间，还是会突然面对一个既充满奇迹、同时也极其紧迫的局面，需要立刻应对。
简而言之，就是：AI 在构建 AI 系统。
Demis： 我同意这一点，所以我们也在密切关注这方面的进展。同时，我认为除此之外，还有一些同样重要、正在被深入研究的方向，比如世界模型、持续学习。这些问题都是必须被攻克的。如果自我改进本身无法单独带来突破，那我们就需要这些其他能力真正发挥作用。另外，我也认为，机器人领域可能会迎来它自己的突破性时刻。
主持人： 不过，基于你们刚才所说的这些，也许我们所有人都应该希望这件事能稍微慢一点发生——包括你们自己，以及其他所有人。坦白说，我会更希望如此，我觉得那对这个世界来说会更好。当然，你们是有能力在某种程度上影响这一点的。
非常感谢二位。
（点击阅读原文观看完整视频）
