绿洲对谈周浩研究员：充满好奇
***绿洲：能向我们简单介绍一下您的研究方向么？***
取其上者，往往得乎其中；想人之不敢想，往往才能做出满意的研究工作。
我们和清华大学智能产业研究院副研究员周浩博士聊了聊人工智能助力科学探索的新范式，Enjoy。
绿洲：能向我们简单介绍一下您的研究方向么？
***周研究员：***读博时我研究句法分析，句法分析本质上是对句子中词语的语法功能，也就是词语之间的关系进行分析。这点对于传统的自然语言处理（NLP）很重要，因为词语之间的关系，就是句子面对下游应用时的潜在特征。 2016 年我开始做机器翻译，2017 年加入字节专门做文本生成。GPT 都是自回归模型，给定上一个词生成下一个词，当时学术界对其构建已经偏完善了，其他都是工程问题。因此到 2019 、2020 年的时候，我开始研究并行文本生成模型，目的是做下一代文本生成模型——非自回归生成，而是同时生成一个句子里面所有的词语。这个研究有几个好处：
第一，速度快，可以打满 GPU 算力。
第二，双向建模。自左至右永远是单向建模，会产生双向依赖问题，未来无法很好地建模。"同时生成"必须双向建模。
第三，没有顺序偏置。如果默认从左往右的话，就等于默认生成模型的对象是顺序的，文本的顺序性很明显，用自回归生成足够了。但是你无法知道一个小分子是从哪里开始的，蛋白质的双向依赖非常严重，于是就引发了我的研究兴趣，当时做出了一个通用性很强的模型。一开始非自回归模型的准确率只有 18%，自回归模型的准确率在 29%。到 2022 年，我们做的很多并行生成模型效果已经超过自回归的模型了。
我更看重后两个特性。2022 年之后，我主攻蛋白质的生成和设计，以及分子的生成应用在制药和新材料的设计，我觉得这其中的研究空间比 NLP 的研究更为广泛。未来 AI for Science 和 AI as Science ——人工智能辅助科学以及作为一个新的科学来研究的空间很广阔，可以帮助传统理科，比如说生化环材等取得一定突破。
生成文本和生成蛋白或者分子包括基因在内，都是离散符号组成的复杂结构，前者是从词到句子，后者是从一个原子到一个分子，或者从单个氨基酸到一个蛋白质序列。我过去研究文本生成，用离散符号的生成模型来解决新的数据模态，这是我擅长的方向，也是我想做的事。
绿洲：您在字节的时候在文本生成方向已经做得很出色，能介绍一下当时主要的工作么？
***周研究员：***在字节的时候我主要做生成和预训练，做到了 GPT-2 的规模。当时做的 AdsGPT，专门用来生成广告，效果非常好。在字节的研究主要是通用型可控生成，基于离散或者连续的可控，发明了一系列算法，架在大模型上面生成真正想要的，并且 100% 可控的工作。
在并行生成上，当时我想做一个套件，从自回归范式跳到并行生成的范式。结果是生成模型做通了，超大规模的并行预训练因为成本太高代价太大，还是空白。
绿洲：您研究的落地的场景是个性化医疗么？
***周研究员：***不仅是药，材料也是分子，荧光小分子，或者新能源太阳能薄膜材料，都是分子设计。甚至酶，可以用于生物制造，改变制造业。可以说我的研究与生物、化学、环境材料的关系都很大。如果 10 年之内可以落地，会给人类生活带来巨大改变。
绿洲：你研究的目标和 AlphaFold 的推进方向是一致的么？
***周研究员：***AlphaFold 推进的科学方向是"蛋白质结构预测"，而我的方向是"生成"，不管用预训练还是其他方法，目的是设计出个性化的产品。比如给定一个疾病快速设计出鲁棒性高的药物分子；或者给定功能需求设计蛋白质。这和给定机器英文生成中文，是异曲同工的。
绿洲：LLM 的突破，对于蛋白质类复杂问题上，有没有直接的帮助和促进？
***周研究员：***这算是一个开放性问题。直接的帮助促进肯定有，比如说 Facebook 做的 ESM，就是把文本里的 BERT 拿过来用。但这条是不是最终要走的路，还需要探讨。如果直接拿 LLM 来用，或许可以达到百分之四五十的效果，那如何达到百分之八九十的效果呢？是不是应该换一条直接可以有八九十分效果的路试一试？即使现在会走得比较艰难，一旦做出来，迎接你的可能是一马平川。
绿洲：通过 AI 辅助药物设计，目前是否存在需要整个学术界试图解决的核心问题？您的研究中有没有遇到瓶颈和困难？
***周研究员：***大家都在做各种生成模型，比如说给定靶点、生成分子，这些都在探索当中。在建模的过程中，有时需要从 CV，NLP 中借工具，但实践中未必能找到趁手的工具，或者说学术界觉得当前最趁手的工具未必具备未来性。
大家对于这个问题的建模也在不断迭代，比如数据也卡脖子，怎么去突破数据？获取数据比获取文本和药品更加困难，同时生成的内容也难以理解。数据不可能弥漫在整个数据空间内，它肯定有偏差，就需要解决模型的鲁棒性问题。虽然现在尚未达到收敛的阶段，但等到各方达成一致，就意味着这个领域中的一些问题已经被解决了。从我的研究而言，瓶颈之一是科学性探索，怎么建模才是真正好的建模方式？二是时间未到，只有达到一致，自信建立，就愿意去大力出奇迹了。当然也有可能在大力出奇迹之后才能达成一致，这是一个先有鸡还是先有蛋的问题。另外，我们也面临机器资源不足的问题，卡都被用于文本研究，市场上的机器价格一路飙升，包括云服务都涨价，采购成本翻了一番，还遇到囤货的困扰，压力还挺大的。
绿洲：为什么您要做 AI for Science 呢？
***周研究员：***2019 年马维英老师是我们人工智能实验室的负责人，给我留下了深刻的印象。他每周都需要了解学术进展，无论 NLP、CV、机器人也好，我负责组织小组学习。当时我表示"生成"的方向很有潜力，国外很多做生成的组也都开始做 AI for Science，比如说分子和蛋白质的设计，马老师和公司方面觉得这个方向很有吸引力，虽然尚处于初级阶段，但从前景、社会影响力和价值而言，都比做文本更强。所以我们的工作也受到了公司的鼓励。尤其 2020 年疫情爆发，AIGC 脱虚向实。AIGC 的 C 是什么？就是生活中经常可以看到的东西，这是一个很大的转折点。AIGC 目前在"虚"的领域做生成效果很好，如果在"实"也能突破，对人类的生活无疑会产生巨大改变。
绿洲：在这一波 AI 热潮中，您觉得 AI for Science, 特别是在生物医药蛋白质材料方向的助力会体现在什么地方？
***周研究员：***ChatGPT 正是我的研究领域，我见证着它一个又一个里程碑至今，对它发展的心路历程感同身受，尽管大家都很熟悉生成式预训练的实现方法，但即便作为一名行业内从业者，我也从未预料到它在规模和效果方面能够取得如此巨大的成功。仅仅 10 年前，生成文本的概念几乎是不可想象的，而如今，人工智能的发展已经引起了全球 AGI 的热议。因此，我对生成式 AI 的前景抱有信心。
如果直接将传统的 NLP 挪过来用在蛋白质上，结果反而是事倍功半的。因为文本预训练的哲学原理是分布式语义，即相似上下文有相同语义。根据哲学原理设计数学原理，并做自回归生成，这是训练的目的。两者叠加，包括当前的做法，我认为 NLP 整体发展都在合理的路径上。当涉及到蛋白质，事情就变得复杂。它的哲学原理仍是未知的，需要探索其数学原理来解决。对于计算机专业的人而言，给定哲学原理就可以开始试错。当前，我们的工作重点是如何确定蛋白质的哲学原理，并设计合理的数学原理，搭配原理驱动的训练目标以便做大量尝试和探索。我们正在进行蛋白质生成式预训练，以期有所突破。
绿洲：对于 AI for Science 尤其是特定域的学科，是不是领域专家也很重要？
***周研究员：***肯定。我举个例子，如果 AI 开发时缺乏领域专家，他们对于数据的理解将是不充分的，这可能导致开发出带有明显偏见的模型，最终可能出现各种问题而不能正常运作。第二，数据往往有冗余，比如说分子，可以认为所有的原子是在欧式空间里面的一个坐标，你可以认为是一个几何点云，但这样等于完全否认了分子本身内在的结构，它不可能是在任意欧式空间里面的任意的点云，应该是在欧式空间里面的某个特定流形上面的一个点，怎么定义一个好的建模方式刻画它的内在结构，有效降低数据建模冗余非常重要。
与领域专家合作交流是事半功倍的办法。比如说，使用大概 1000 万条数据可能无法达到要求，但与专家合作，仅使用 1 万条数据就能训练出一个比较理想的模型。
绿洲：目前国内很多学科在 Domain 的理解上，与国外的特定学科还是存在差距。对特定 Domain 本身的认知或者说科研的差距， 您觉得 AI 可以弥补么？
***周研究员：***不排除这种可能性。恰恰因为某些学科有差距，才是弯道超车的价值所在。举个例子，设计材料的经验积累已有数百年，代代相传。靠人力突破现有局限几乎是不可能的任务。但是，如果 AI 能从数据中获取这些知识，那么你只需要请领域专家来协助分析，就有可能成功。再举一个燃油车和电车例子。在过去，燃油车的技术水平有着很大的差距，多年来德国和日本这些国家的沉淀，令其拥有了大量先进技术和工艺，可以提供高性能的驾驶体验，我们很难跟上他们的步伐，甚至在未来也未必能找到制胜法宝。然而，随着电车的普及，作为一个外行，我想，电车的技术就好像手机技术一样，和国外的技术差距一下子缩小了。
中国专家在特定领域的知识储备非常丰富，有了 AI 的辅助，等于换了赛道，得到了更加便利和高效的工具，这样才能潜在实现弯道超车。
绿洲：学术界预测的 AGI 的数学推理能力，能否用到推理辅助做蛋白质设计甚至做材料的探索上？
***周研究员：***那是 AI for Science 的另一个分支，可能有共同之处，但不一定完全一致。生成蛋白或者设计分子，未必涉及数学能力。就好像很厉害的数学家，有很强的创新能力，也未必能搞得定药。比如蛋白质设计的能力，是因为见过众多数据后，将蛋白质背后之前的物理的模拟，变成直接预测，将第一性原理参数化。机器是如何对齐这类知识的原理很难说，从我的角度觉得未必是同一种能力。
绿洲：AI for Science 想解决的问题很多，比如做计算这条路径，未来是否会被量子计算的进展影响？
***周研究员：***如果量子计算真的能做，那肯定是可以的。比如量子化学真能算，就好比有一个东西，有一个靶点，有一个分子，你连他们每一秒是怎么动的都做好了，都没必要去做更多预测了。
绿洲：如果科研人员大力推进 AI for Science，未来十几到二十年，人类在很多科学发展上的速度会得到迅速提升？甚至很多交叉学科会迅速互相影响？
***周研究员：***我觉得很有可能，我们也希望向这个方向努力。不管是科技部还是自然科技基金委，国家对此非常重视。
绿洲：AI for Science 即使在国内从做法上也有不同流派？
***周研究员：***肯定有，无限细分的话，不同的人想法都不一样，想做的方式肯定也不同。即使是做计算机的，也有从 NLP 出发、从生成式 AI 出发、还有从图出发、从计算出发、从领域出发等等。大家都从不同的路径去爬珠穆朗玛峰，都是路径依赖，收敛之后，起点也就明确了。
绿洲：您觉得 AI for Science 的实际关注度提升了么？
***周研究员：***我觉得是自然增长，就像 AI 整体的关注度都提升了，大家发现有很多事情是真得可行的。假设 NLP 没有那么多事情可以做，也是要找其他方向去探索的。
绿洲：从全球范围来看，您的研究方向突出的科研院所主要分布在哪儿？
***周研究员：***目前还不清晰，处在百舸争流的阶段。MIT，UW 都挺好，这些学校很多领域专家开始做计算机，同时计算机人开始搞应用。到底谁做得好，可能要过几年才能看出来，目前还处于早期。
绿洲：您从字节 AI Lab 又回归学术界，是出于什么考量？
***周研究员：***有几个原因吧。我在字节待了 5 年，有幸伴随着公司快速成长。在字节我学会了怎么去做业务，在中台如何去和业务线合作，比如谈判、分配、管理，同时围绕业务又做了很多研究。5 年是一个时间点，我觉得可以换一个视角或者环境去看一看。再者，在公司的时候我也和很多学生进行过短期合作，当时我想做的就是 AI for Science ，但这个方向从任何一个公司角度而言，落地太远，风险太高。而学术界对研究风险的容忍会更高。
绿洲：您如何理解AGI？
***周研究员：***我认为 AGI 是一个概念。100 个人心中有 100 个 AGI。有人觉得可以语音对话，让对方分不清是人还是机器，就是 AGI 了；有人觉得 AGI 是超级智能……按常识来说，以 LLM 当下的能力，很多人都认为它已经半成品 AGI 了。我们更应该关注的是——实现 AGI 的目的是什么？是为了得到一个 AGI，还是要解决具体生活中、应用中的需求。
参赞生命力
你觉得什么是科技生命力？
科技生命力来自于科研从业者对世界的好奇心。
——周浩研究员
清华大学智能产业研究院
绿洲资本是中国新一代风险投资机构，致力于发现中国未来十年最有生命力的企业家，并与他们共同成长，创造长期价值。"参赞生命力"是绿洲的愿景和使命。这种生命力（Vitality），既是时代结构性变革的方向，亦是企业家坚韧和进化的力量。
绿洲资本专注于早期和成长期投资，单笔投资300万到3000万美金，重点投资机器人、人工智能、科技服务等领域，助力中国科技驱动的新服务升级。
