神同步OpenAI，「深度原理」领衔24所全球顶尖机构发布LLMs for Science评测 | Linear Portfolio
能在题库拿高分，就能助力科学发现吗？
近期，AI4S领域先锋企业「深度原理」领衔麻省理工、哈佛、普林斯顿、斯坦福、剑桥、牛津等全球24所科研院校机构共同发布了一篇评测LLMs for Science能力高低的论文。
研究发现，当前大语言模型在推动科学发现方面的表现，还不如一个普通的本科生。而相隔一天的时间内，OpenAI也发布了对于AI在科学发现领域能力评测的论文概述，指出现有评测标准在AI for Science领域失灵。
神同步OpenAI、海外讨论出圈，而这篇论文牵头方仅为一家成立一年多的初创公司，其实力不容小觑。线性资本作为「深度原理」的种子轮领投方，我们期待公司后续让更多AI能力落地助力科学发现。**
最近，一篇由中国团队领衔全球24所TOP高校机构发布，用于评测LLMs for Science能力高低的论文，在外网刷屏了！
当晚，Keras （最高效易用的深度学习框架之一）缔造者François Chollet转发论文链接，并喊出："我们迫切需要新思路来推动人工智能走向科学创新。"
AI领域KOL Alex Prompter分享论文核心摘要后，NBA独行侠队老板Mark Cuban跟帖转发，商业雷达全开，硅谷投资人、欧洲家族办公室、体育媒体同时涌进评论区。
仅一夜，累计阅读量逼近200万。
值得一提的是，同一时间窗里，OpenAI也发布了对于AI在科学发现领域能力评测的论文《FrontierScience: Evaluating Al's Ability to Perform Scientific Research Tasks》概述，指出现有评测标准在AI for Science领域失灵。
神同步OpenAI、海外讨论出圈，究竟是什么样的一份工作成果，搅动了全球AI舆论场？
前段时间，美国推出**"创世纪计划"**，号称要调动"自阿波罗计划以来最大规模的联邦科研资源"，目标是在十年内将美国科研的生产力和影响力翻倍。
但在人工智能估值泡沫隐现、能耗与产出比饱受质疑的当下，一面是资本的狂欢，另一面却是AI能力困于"文生图"等表层应用的尴尬；一面是各类大语言模型频繁霸榜GPQA、MMMU等题库式Benchmark的层出不穷，另一面却是现有LLMs还无法准确解析简单核磁图谱的尴尬现状。
人们不禁要问：**能在题库拿高分，就能助力科学发现吗？现在的模型距离科学发现还有多远？**究竟什么样的AI模型可以胜任，拓宽人类的生存边界？这些讨论，在中美AI竞争白热化的当下变得愈发浓烈。
在此背景下，由中国AI for Science领域的初创企业「深度原理Deep Principle」领衔麻省理工学院、哈佛、普林斯顿、斯坦福、剑桥、牛津等全球24所科研院校共同发布的《Evaluating LLMs in Scientific Discovery》论文，正式回答该时代之问。
论文推出了LLMs for Science首套评测体系SDE**（Scientific Discovery Evaluation），从科学问题到研究项目，对GPT-5、Claude-4.5、DeepSeek-R1、Grok-4 等全球主流大语言模型在生物、化学、材料、物理领域的科学研究与发现能力完成摸底。
同以往评测体系不同的是，SDE对模型能力的考量，从简单的问答式，引向了具体的"假设->实验->分析"实验场景。
研究发现，GPT-5、Claude-4.5、DeepSeek-R1、Grok-4 平均准确率 50–70%，远低于它们在GPQA、MMMU等题库上的80–90%；在86道"SDE-Hard"难题中，最高分不足12%，共同暴露出多步推理、不确定性量化和实验与理论闭环的短板。
更值得警惕的是，模型规模与推理能力的提升已呈现明显的"边际效益递减"。
GPT-5相较于前一代模型，参数规模和推理算力显著增加，但在 SDE 基准的四大科学领域中，平均准确率仅提升 3%-5%，部分场景（如 NMR 结构解析）甚至出现性能下滑。
换句话说，当前大语言模型在推动科学发现方面的表现，还不如一个普通的本科生。
《Evaluating LLMs in Scientific Discovery》论文通讯作者段辰儒，是「深度原理Deep Principle」创始人兼CTO。早在2021年，在MIT攻读化学博士期间，他就已在图灵奖得主Yoshua Bengio的支持下，发起了AI for Science社区的建立，并在NeurIPS上举办AI for Science workshop。
2024年初，他与MIT物理化学博士贾皓钧回国，共同创立「深度原理Deep Principle」。 贾皓钧任CEO，段辰儒任CTO，两人虽为95后，但已在全球AI for Science创业领域小有名气。
创业一年半以来，其已获得线性资本、高瓴创投、蚂蚁集团等多家知名机构的投资，且与晶泰科技、深势科技等AI for Science领域的知名企业建立战略合作关系。
可以说，「深度原理Deep Principle」从创立之初，就带着全球AI for Science头部研究者们的期待。目前**「深度原理Deep Principle」已深入全球材料研发中的第一线，将生成式人工智能同量子化学结合起来，致力于推动材料发现等领域进入新纪元。**
在过去的一年中，他们在Nature大子刊和JACS等顶级期刊上不断扔出重磅成果，宣告着他们的技术领先和开放交流的"95后创业公司"心态。
从开拓扩散生成模型（Diffusion Models）在化学反应的生成，证明"不止要生成材料，更需要生成材料的合成路径"，到机器学习势（Machine Learning Potentials, MLPs）和扩散生成模型的直接对比，证明传统的机器学习势不是"万能"的，再到现在组织各大顶级学者和高校推出SDE，证明传统一问一答的Benchmark不能带领我们走向科学超级智能，精准切入AI for Science领域的核心冲突。
但同时，对于所有的AI4S公司而言，在商业真金白银的检验中，AI能否真正解决新产品研发问题、满足客户期待，是日复一日所必须面对的拷问。
随着与行业头部客户的商业化合作落地，「深度原理Deep Principle」的数据库中已经汇聚了来源于客户与自己实验室、大量来自第一线的真实工业研发场景数据和模型应用经验。**
学术圈的深耕与在AI for Science商业化第一线的积累，让「深度原理Deep Principle」在提出要构建一把新尺子评测LLMs for Science能力时，一呼百应，摇来了23家全球TOP科学发现机构的50余位科学家，成立了制定SDE的"梦之队"。
这其中，不乏活跃在LLM领域的大牛学者们，比如：
- 孙欢（Huan Sun），MMMU发起人，俄亥俄州立教授
- 杜沅岂（Yuanqi Du），康奈尔博士，AI4Science 社区"运营大管家"
- 王梦迪，普林斯顿最年轻教授，AI+Bio Safety先驱者
- Philippe Schwaller，IBM RXN之父，EPFL教授
而「深度原理Deep Principle」前期积累的科学发现场景，成为了后来SDE评测体系的前身。
在经历近9个月的跨高校跨学科跨时区的协作后，《Evaluating LLMs in Scientific Discovery》论文正式发布，通讯单位赫然写着：深度原理，杭州，中国。
自此，汇聚着全球顶级科学发现机构的集体智慧，来自中国的创业团队「深度原理Deep Principle」，和大洋彼岸的OpenAI，同时站在了向AI for Science——这一人类通往终极AGI顶峰攀登的起跑线。
或许千百年后，当人类回望AGI时代，在21世纪的四分之一结束的当口，这场由中美团队共同呼应的，对于AI for Science的严肃讨论，把LLMs在各类问答式榜单上的内卷，向真正科学发现的星辰大海推近了一步。
至于怎么通往彼岸，段辰儒表示："当大语言模型在各种科学问答榜单表现饱和，但还不能有效支持科学发现时，就像'考试成绩好'不等于'顶级研究者'，说明我们需要新的评测体系与训练路径。"
「深度原理Deep Principle」与20多所机构的50多位合作者的研究证明了，目前LLM的发展路径并不能"顺便攻克"科学发现。
而这条通往科学超级智能之路，需要更多有识之士共同并肩而行。
