聪明的企业在“降智”

最前沿的模型已经聪明得惊人，但很多企业工作其实也没那么难。理赔员、护士、物流调度员要做的，不是发现未知答案，而是在已有规则和上下文里，把事情做对。

所以每个工作负载，其实都有一条**"智能阈值线"**：越线之前，模型每聪明一点都值钱；越线之后，真正的瓶颈就变成了上下文和执行，多出来的智能反而只会增加成本、延迟和复杂度。

今天这篇《Right-Sizing Your Intelligence Spend》（智能开支，量体裁衣），是 Foundation Capital 合伙人 Jaya Gupta，与斯坦福两位博士研究员 Avanika Narayan、Jon Saad-Falcon 合写的新文章。此前我们编译过她的《AI 时代下一道最大的护城河》，那篇讲组织，这一篇讲钱：企业到底该怎么花"智能"这笔钱。

这篇文章提出了一把很有意思的尺子：别看一家公司烧得起多少智能，要看"每做成一件事所消耗的智能"，能不能越来越少。

我们需要开始给 token 浪费算账。亚马逊的研究人员估算，推理系统面对简单任务时生成的 token，可以达到实际所需的 7 到10 倍；另一边，OpenAI 企业客户的平均推理 token消耗，一年涨了约 320 倍。普华永道的调查里却有 56% 的 CEO 说，还没看到显著的财务回报。在烧掉的智能和做成的事之间，裂缝已经量得出来。

但"AI 用贵了"只是表面。更重要的问题是：到底什么样的任务，值得用最贵的智能？

作者的答案是，这条线会一直变。今天还需要前沿模型才能完成的任务，随着开源模型越来越强，明天可能就不需要了。越来越多普通企业工作，会跨过那条"智能阈值线"，然后从最贵的模型上被一点点搬下来。前沿模型最终应该留给那些，真正需要发现新答案、而且多一分智能仍然能改变结果的问题。

所以企业未来真正需要的，可能不是一个"最好的模型"，而是一套分配智能的系统。每来一个任务，都要先判断：它应该交给前沿模型，还是更小或性价比更高的（开源）模型？应该留在本地，还是送上云端？需要模型来推理，还是已经可以压缩成一条规则？

换句话说，模型会越来越像一种可以被调度的资源，而企业需要把调度权留在自己手里。

这也解释了为什么模型公司和企业算的根本不是一本账。模型公司希望更多计算变得有用，卖出更多 token；企业真正想要的，却是把一个反复出现的问题，越做越便宜，甚至根本不用每次都调模型。对前者来说，用量增长是收入；对后者来说，同样的用量增长，可能只是成本。

这篇文章的两位合著者，此前做过"每瓦智能"（intelligence per watt）和"大模型拆任务、小模型执行"的混合推理研究。后者已经验证：让云端前沿模型负责拆任务、本地小模型负责执行，可以用 1/5.7 的成本保住 97.9% 的准确率。

如果沿着这个逻辑走到底，会得到一个有点反直觉的结论：一家企业 AI 用得越成熟，它对最昂贵智能的依赖反而应该越少。

今天需要模型认真推理十分钟的问题，明天也许只需要一个小些的模型；再过一段时间，也许连模型都不需要了。企业用 AI 的过程，也应该是不断把昂贵推理，沉淀成更便宜、更可靠执行的过程。

当然，这也是一篇很有立场的文章。Foundation Capital 自己正在沿着路由层、执行框架和模型改进层下注，文中点名的一些公司也与其投资方向有关。与此同时，被作者批评"从设计上就是烧 token"的Anthropic，年化收入已经超过 300 亿美元，其中约八成来自企业客户。

所以我觉得全文最值得看的，恰恰是这个矛盾：企业一边疯狂购买前沿智能，一边又可能正在为大量并不需要最前沿智能的工作付钱。

作者赌的是，随着企业越来越会算这笔账，最贵的模型会逐渐退到少数难题上；那些已经解决过、反复出现的问题，则会一步步交给更便宜的模型、路由和软件。

如果你手里正好有一份 AI 预算，不妨先拿这把尺子量一量自己的账单。

以下是全文翻译：

智能开支，量体裁衣

原题：Right-Sizing Your Intelligence Spend

作者：Jaya Gupta / Avanika Narayan / Jon Saad-Falcon

原文发布于 X

最前沿的模型已经聪明得惊人。

今年五月，OpenAI 宣布，一个通用的内部模型，推翻了埃尔德什（Erdős）平面单位距离问题里的一个核心猜想。

这个问题，数学家们已经琢磨了将近八十年。外部数学家核验了证明，Tim Gowers 的评价是，这份证明要是出自人类之手，够得上让《数学年刊》（Annals of Mathematics）直接接收。

Anthropic 那边则报告，Claude Opus 4.6 已经找出并验证了 500 多个高危漏洞，其中一些漏洞藏身的代码库，已经被模糊测试了好几年，累计跑过数百万 CPU 小时的测试。

这些成就都是真的，而且可能极其值钱。有些问题还没人知道答案，而找到答案可能值数百万美元：一个证明、一个药物靶点、一个零日漏洞，或者一种没人吃透的市场结构。这种时候，智能当然越强越好，多烧算力、多探几条路，完全理性。

但今天模型能力排行榜上的成绩，大多来自容易定义、也容易验证的任务：证明、补丁、漏洞利用、科学推理。

问题只有一个：经济的其他部分，不按这个方式运转。

理赔员要找的不是新的数学真理，她要判断，公司现有的规则里，哪几条适用于这一起事故、这一位投保人、这一串事件经过。

护士也不发明医学。她要做的，是把成熟的诊疗规范和病人的病史、当前症状、医院的实际条件放在一起判断。

物流调度员也不发现新算法，他应付的是今天的库存、天气、合同和延误。

有些工作创造价值，靠的是拓展人类已知的边界；大多数工作创造价值，靠的是在组织已知的范围之内，把执行做对。

经济不是Research Lab

前沿研究价值极高，但在经济里的占比却很小。

美国劳工统计局的数据显示，生命科学、物理科学和社会科学类职业，合起来不到全美就业的1%。全美国的数学家约 2,000 人，物理学家约20,000 人，计算机与信息研究科学家约 37,000 人；护士、经理、行政人员、物流工人和客服代表，则数以百万计。

大多数公司的日常，并不需要发现未知答案。它们一天到晚做的，是用已经知道的东西，处理千百万个具体决定；每个决定背后，都是客户、政策、库存、合同和历史。

前沿研究拼的是智能，而经济里的大多数工作，拼的是上下文和执行。

这个分野在财富 500 强里到处都看得见：沃尔玛协调库存、门店和供应商；联合健康（UnitedHealth）协调医疗服务；亚马逊在巨大的规模上运营仓库、配送、商家和客户交互。

这些公司的护城河来自专有数据、多年磨出来的流程、供应商关系、监管牌照、实体网络，以及千百万次重复决策积累下来的经验。它们未必比别人"想得更好"，但自家这个世界怎么运转，几十年下来早已烂熟于心。

设想一下： 把美国航空、家得宝或者美敦力的每一名员工，都换成数学奥赛选手，让他把每件事都当成一道有待发现的难题。成本不会降，反而会迅速上升，因为每一个例行决定，都得重新从第一性原理想一遍。整个组织会被自己用不上、也消化不了的智能淹没。

编程是个重要的例外：这个劳动力市场够大，工作本身是数字的，结果常常能靠测试来验证，所以在这里，模型每聪明一分都格外值钱。

可AI前沿实验室的产品，本身就设计得让开发者很容易狂烧 token：跑个不停的 Agent 循环、层层递归的子 Agent、"不搞定不罢休"的模式。

随着小模型和开放权重模型能胜任的任务越来越多，连编程也开始出现自己的能力阈值。

每个工作负载都有智能阈值

每个工作负载，都有一道智能门槛。

达不到，模型就干不了这个活；接近这道门槛时，模型每聪明一点，都可能带来很大价值。一旦跨过去，瓶颈就换了地方：结果越来越取决于，这套系统懂不懂公司的政策、客户、历史、工具和标准，能不能干得可靠、干得快、干得便宜。

模型一直在变聪明，大多数工作负载却没有。退款政策、行李规定、发票对账流程，这些东西一点没变难。

最新的前沿模型，尤其是 Anthropic 的模型，还在不断挑战智能的上限：那是研究数学家、物理学家和攻坚未解难题的工程师才用得上的智能。这个市场真实存在，但它很小。麻烦在于，同样这批模型，成了普通企业工作的默认选项。

开发者很自然会选手边最强的模型，而 Anthropic 又把这个选择做得毫无摩擦：长时间运行的 Agent、递归的子 Agent、高强度的推理循环，从设计上就是烧 token 的。

结果就是，前沿价位的智能，落在了常常不需要它的任务上。

有两股趋势正在磨掉这份溢价。一边是开源模型把同等能力的价格打下来；另一边是中小模型不断逼近前沿模型，用少得多的算力做到同样的事。

Qwen 3.8-27B 就是后一股趋势的注脚：区区 270 亿参数，在好几个编程和 Agent 基准上，追平甚至压过了 Opus 4.6 Max。

我们自己关于智能效率的研究，也指向同一个方向：短短 16 个月，模型的能源效率提高了 18 倍：完成同等水平的任务，需要的算力和能源已经大幅减少。

能跨过"普通企业工作"这道智能门槛的模型，会越来越多。前沿系统只需要留给剩下的一小撮任务上，模型再聪明一点，结果确实还会不一样。

其实在招人这件事上，公司早就懂这个道理。你招过能力远远超出岗位的员工吗？他们会把定好的事翻出来重新想，引入不必要的复杂度，然后觉得没意思，最后走人。公司往往更需要一个能力够用、又真正懂客户、懂这份工作的人。

模型也会高配低用，而且毛病更顽固：它不会嫌无聊然后辞职，它会没完没了地制造额外的复杂度、波动和成本。

一次密码重置，不会因为 Agent 掂量了十二种解释、顺手发起一场安全调查、再写一篇个性化小作文，就变得更好。客户身份一核实，该做的就是把密码安全地重置掉，然后收手。

**"高配低用"**如今已经量得出来，不再只是个比方。

研究推理模型的学者，记录下一个**"过度思考"（overthinking）**的毛病：碰上简单问题，模型照样多花推理算力，准确率却一点不涨。亚马逊的研究人员估算，推理系统在简单任务上生成的 token，能达到实际所需的 7 到10 倍。

到了足够简单的任务上，智能的边际价值甚至会接近于零：每多推理一个 token，几乎不再带来额外收益。

任务办砸了，到底是因为模型不够聪明，还是因为它不了解这家公司怎么运转？

继续把顶级智能当默认选项的企业，会发现自己在为早就不需要前沿智能的活儿，付前沿的价钱。

企业应该默认一件事：开放权重模型和专用系统会沿着技术栈一路往上吃，前沿模型只留给那些还没跨过能力门槛的问题。

而这条线，还在往上抬。

实验室和企业的激励，不是一回事

实验室和企业之间，激励是相互冲突的。

对模型实验室来说，更多有用的计算就意味着更多生意。它的成功指标是 token 消耗量、会话时长、Agent 数量、推理深度，还有啃下更难问题的能力。

每多卖出一个单位的智能，都是一场胜利。所以实验室有动力把前沿模型设成默认，鼓励更长的思考、更多的工具、更多的重试、更多的 Agent。用量一涨，它的仪表盘就亮了。

企业算的是另一笔账：同一个问题解决过以后，最好下一次就不用再花这么多计算。企业关心的是每一次有效解决的成本、每处理一单理赔花掉的 token、完成时间、升级率和客户结果。

哪天公司学明白了，把一个反复出现的请求变成一页三条要点的文档、一条确定性规则，甚至干脆不调模型，AI模型公司就少了一笔未来的收入。

帮客户省掉调用，把单子转给更便宜的对手，把需求压缩成一段软件：这些事，供应商一件都没有动力做。

企业一旦开始沉淀经验，这道分歧就再没有调和的余地：AI模型公司还想多卖点智能，企业却想少用点智能。

这种分歧，已经开始反映在数据里。

OpenAI 报告称，过去一年，每家企业客户的平均推理 token 消耗量，涨了大约 320 倍。普华永道调查了 4,454 位 CEO，其中 56% 表示，还没从 AI 里看到显著的财务回报。

AI 模型公司的指标在变好，企业的财务回报却没跟上。一块显示 token 用量涨了五倍的仪表盘，对AI模型公司是捷报；落到 CFO 眼里，是一个没人回答的问题：客户留存变好了吗？每做成一件事的成本降了吗？还是说，我们只是在同样的活儿上，烧掉了更多智能？

这压根不是同一场游戏。一方赚的是把火烧大的钱；另一方拿钱，是为了灭火，还得保证它别再着起来。

架构跟着经济账走

如果企业的目标，是降低"每做成一件事所消耗的智能"，那它就不能把每一次该用多少智能、用什么智能的决定，都交给模型供应商。

这套调度权必须掌握在企业自己手里，并且落实到技术栈的每一层。

关于未来，三个预测：

第一，会冒出数以百万计的路由器和网关。

它们会嵌在每一套像样的 AI harness（执行框架）里，出现在策略、团队和组织的不同层级。每一个路由器，都要替每一个工作单元拿主意：这活儿归前沿模型，归更小的开放权重模型，归本地模型，归确定性系统，归人，还是压根不用管。

这个路由层最终可能形成一个和劳动力市场相似的结构：绝大多数普通决定，就地、低成本解决；只有少量真正需要探索的问题，才调用昂贵的前沿智能。

路由器之上，每家组织都会有一个网关，负责执行安全与数据驻留要求、谈价钱、定预算，并划定哪类工作允许用哪些模型。

第二，混合工作负载会成为默认。

一旦应用可以自己分配智能，同一个工作流里的不同任务，就可以交给不同的模型和系统。

眼下，几乎每个请求都默认发往云端，哪怕数据敏感、任务简单，或者答案本来就躺在公司自己的系统里。这样做又贵又慢，还常常没必要。

往后，简单、重复或涉及隐私的部分，会尽量留在本地和企业自己的系统里处理；只有真正难、真正新的部分，才会送到云端的前沿模型那里。

我们的 Minions 研究已经展示了这种架构的一种可能：云端的前沿模型负责拆解复杂的长上下文问题，本地的小模型负责执行拆出来的子任务。

这套混合系统保住了前沿模型 97.9% 的准确率，成本只有原来的 1/5.7；一个更激进的配置，把成本压到 1/30.4，准确率还有 87.9%。

这套架构里，昂贵的智能负责决定该干什么，具体执行则交给更便宜的模型。省钱只是结果之一。

第三，企业里的 AI 应用会逐渐分成两类。

像 Instinct 这样的通用主动型助手，会让智能弥漫成一种背景能力：它们观察工作、发现机会，不等人下指令就主动执行任务。

像 Maximor 和PlayerZero 这样的专用应用，则掌握某项工作的上下文、工具、权限、工作流状态，以及怎样才算"完成"，负责把企业的意图可靠地执行出来。

这些 harness 下面，还会出现一个专门负责模型改进的基础设施层。

像 Applied Compute 的AC2 这样的平台，让公司可以对跑在现有应用里的模型做训练、评估、部署和替换。harness 依然负责执行；AC2 负责让里面的智能变得更好、更快、更省。

这样一来，主动型助手负责发现需求，应用 harness 负责执行，AC2 这样的基础设施则不断用生产中的经验改进模型。

随着系统越来越成熟，同一个任务也会不断往更便宜的地方挪：只要还能把事做对，就不必继续用更贵的智能。

最聪明的企业，不会拿前沿模型包打一切。它们会想办法尽量少用昂贵的智能，把昨天还需要复杂推理的任务，变成明天更便宜、更可靠的执行。

企业用 AI 的进步，最终应该体现在一件事上：同样的事情，用越来越少的智能就能做成。

如果你也在关注 AI，无论是在大厂里做一线实践、在学校里做研究，还是正在琢磨一个创业想法，都欢迎交流。这个行业发展太快，还有太多事情没想明白，也希望认识更多身处其中、对未来有好奇心的人。