清华赵天辰：当模型学会只看重要部分｜Attention

在绿洲 Attention 系列中，我们一直在不断重复的一个底层问题是：随着生成任务的输入序列长度持续增长，Token 序列长度通常可达到 10K–100K 量级，尤其在视觉场景下。在此设置下，Attention 操作由于其随序列长度呈二次增长的计算复杂度，成为阻碍模型推理与训练的主要性能瓶颈之一。

众多不同的优秀论文和其研究团队代表，在与绿洲的对话中，也都从不同的研究视角分享了他们对此问题的解法思路。

针对 Attention 的效率问题，目前已有研究主要沿两条技术路径展开。一类方法通过稀疏化*(Sparse Attention)*减少注意力连接的数量，仅保留部分被认为重要的交互，在过去的 Attention 系列中我们也有相关的深度访谈。

而今天将要讨论的一篇工作：PAROAttention: Pattern-Aware ReOrdering for Efficient Sparse and Quantized Attention in Visual Generation Models*(以下简称PARO)*，在同样关注稀疏化路径的同时，也展示了对另一条路径的研究：通过低比特量化(Attention Quantization) 将高精度浮点计算替换为 INT8 或 INT4 等低比特整数运算。**

上述提到的这两类方法在语言模型或部分视觉任务中已取得一定效果。然而，在视觉生成任务中，上述方法在低稠密度*(例如 <50%)与低比特(尤其是纯 INT8 / INT4)*设置下往往出现明显退化。

PARO 这篇工作，将原因归结为视觉 Attention 模式的 "复杂且不规则"：注意力权重的空间形态多样、分布分散，且随时间步、条件与注意力头而变化，使得稀疏掩码难以设计成通用且结构化的形式，同时也使得量化分组中更容易出现离群值，从而放大量化误差。

本次，我们邀请到了 PARO 这篇工作的第一作者，清华大学电子工程系高能效计算机实验室赵天辰博士，与绿洲分享他和团队的研究视角和想法思路。

论文相比围绕 "如何为复杂模式设计掩码/分组" 进行优化的现有方案，采取了另一条思路：选择改变输入数据在 Attention 计算中的排列方式：通过 Token 重排(Token Reorder)将原本分散、混乱的注意力模式重新组织为统一且规整的 Block 结构，使后续稀疏化与量化在结构上更容易实现。该重排方案被定义为 Pattern-Aware ReOrdering(PARO)。**

论文围绕视觉任务的 "局部性"（Locality：指在大多数生成阶段，单个 token 的有效注意力权重主要集中在与其在空间或时间上相邻的一小部分 token 上。这种相邻关系可能对应于同一帧中的空间邻域，也可能对应于相邻帧中的时间关联，具体形式随模型结构、时间步和条件输入而变化。） 进行分析，指出多样的注意力模式在三维空间中对应的主要是局部聚合关系，但在默认的 Token 展平顺序下，这些局部关系在一维序列中被拉开，表现为多对角线、条纹或稀疏块状等分散结构。

PARO 的做法，是为不同注意力头选择合适的 Token 维度排列(例如在 [F,H,W] 的不同 Permutation 中选择)，把原本发生在非连续维度上的局部聚合转化为在内存连续维度上的聚合，从而使注意力结构更集中地落入 Block 内。**

在 PARO 的注意力重整技巧的基础上，**作者进一步提出 PAROAttention：在统一的 Block-wise Attention Pattern 上实现稀疏化与量化的协同。**重排后的结构使得稀疏化更容易形成结构化掩码，从而在 FlashAttention 的分块计算范式下获得实际硬件收益；同时，注意力分布在 Block 内更集中，量化分组中的离群值问题得到缓解，使得 INT8/INT4 更可用。

实验结果显示，该方法在视频与图像生成任务中能够在基本保持生成质量的前提下带来明显加速，并支持更激进的低比特设置。

创新点

对于 Attention 的效率问题而言，PARO 提供了一种以 Token 重排为核心的前置处理方式，将多样的 Attention Pattern 统一为硬件友好的 Block 结构，从而降低稀疏掩码设计难度，并改善量化分组下的离群值问题。

PAROAttention 在该结构上实现稀疏化与量化协同，支持 INT8/INT4 等低比特设置，同时保持生成质量，并在 CogVideoX、Flux 等模型上实现 1.9–2.7× 的端到端速度提升。该方法具有一定通用性与部署潜力，可作为视觉生成模型 Attention 压缩与加速的一种系统性路径。

以下是绿洲与赵天辰博士的深访对话整理，全文阅读需要 20 分钟。

Enjoy

绿洲： 您好赵博士，非常感谢您能来和我们聊一聊关于这篇工作的一些想法。那么在正式进入研究内容之前，能否请你先简单介绍一下自己的背景和研究方向？以及你当初是如何选择进入这个研究方向的？

天辰博士： 好的没问题，我叫赵天辰，目前是清华大学电子工程系的博士研究生。我是普博路径，硕士毕业之后才开始读的博士，离毕业还有 1 年。

我在硕士期间就加入了清华电子系汪玉老师的课题组。我们课题组整体关注的是高能效计算，核心目标是让当前主流、计算量很大的深度学习模型，能够在硬件上以更高的效率运行，也就是在尽量不牺牲性能的前提下，把计算和能耗降下来。这个方向本身覆盖的层次比较广，从算法到系统、以及两者的协同，都会涉及。

在课题组里，我个人相对偏算法一些，主要做的是面向具体应用场景的高效深度学习算法设计。如果用一个比较概括的说法，就是围绕构建高效率的模型展开工作。

大概在 2022 到 2023 年左右，大模型开始快速发展，整个领域的研究重心发生了比较明显的变化。组里的研究主线关注了大语言模型，我因为有一些计算机视觉的背景，主要关注了另外一个比较有潜力的技术方向 - 视觉生成。

其实在更早一些的阶段，大家通常会把文本生成模型和图像生成模型看成两条相对独立的技术路线。但后来，可以看到这两条路线正在逐渐趋向统一。一方面，从多模态的角度出发，越来越多的工作开始尝试把感知、理解以及决策过程放在同一个模型中；另一方面，生成任务本身也不再只是单一模态的输出，而是逐步向多模态生成扩展。

所以原本看似分散的文本生成模型和视觉生成模型，在整体技术路径上开始出现收敛，逐渐朝向一种更统一的多模态建模方向发展。

绿洲： 那我们先回到这篇论文本身。你当初在写这篇论文的时候，主要想解决一个什么样的问题？你的切入点是什么？

天辰博士： 我当时最核心想解决的一件事情，其实还是围绕视觉中的局部性。我个人一直觉得，视觉里的局部性是一个非常关键、而且已经被反复验证过的重要特性。

如果回顾计算机视觉的发展史，这一点非常清楚。比如在 2012 年左右，深度神经网络之所以真正被 "带火"，很大程度上是因为卷积神经网络在视觉任务上取得了突破性的效果。而 CNN 之所以有效，本质上正是因为它通过局部连接和参数共享，引入了一种非常强的归纳偏置。

从另一个角度看，这个问题也可以理解为 "优化空间" 的问题。

如果我们比较一个全连接层和一个卷积层，从理论上说，全连接层拥有更大的表达能力，它的参数空间可以包含卷积层，将其作为一个特例。但在实际中，全连接层反而更难被优化好。这并不是因为它不够强，而是因为它对应的优化空间过大，在有限数据和优化算法的条件下，很难被有效利用。

卷积通过引入局部性假设，把原本非常庞大的搜索空间约束到一个更可控的子空间里，使得模型更容易收敛，也更容易在真实任务中工作。我个人一直倾向于把这种归纳偏置理解为：在建模之前，我们先人为地引入一些 "先验假设"，让问题本身变得更可解。

比如说让大语言模型成功的 Autogressive 自回归式的建模框架，也可以看做是对于以自然语言为例的 "序列数据" 的某种归纳偏置。

从这个角度看，局部性不仅是一个历史经验总结出来的设计原则，也是视觉任务本身所隐含的一种结构特征。问题不在于局部性是否存在，而在于如何在新的模型架构中把它利用好。

这其实也是我之前一些工作的延续。更早的时候，比如在 2022 年左右，我们在三维点云等场景中也尝试过一些 Attention 优化的思路，但由于当时的应用场景和硬件约束并不成熟，那些方法并没有真正跑到一个 "非做不可" 的阶段。

所以后来我在寻找一个真正具有硬件压力的场景。也就是说，Attention 的计算开销必须足够大，大到如果不去优化，它在系统层面就已经无法接受。因为 Attention 的计算复杂度是 O(N^2)，随着输入序列变长，这个问题会真正暴露出来。

这个条件在视频生成模型中，大概在2024年中，逐渐成立起来。一些 3D Full-attention 的视频生成模型开始出现，Token 数量显著增长，Attention 的计算成本被实实在在地放大。在这之前，很多工作其实采用的是相对保守的做法，比如把时间维和空间维拆开处理，用分解的方式避免真正的全局 Attention，因此 Attention 的占比并不算高。

但当模型开始在时间和空间两个维度上同时展开 Attention，整体 Token 数量进入一个新的量级时，Attention 的成本才真正成为主要瓶颈。在这样的背景下，我们觉得这是一个合适的时机，去系统性地考虑 Attention 的优化问题，而不仅仅是停留在概念层面。

绿洲： 那我稍微总结一下，你的意思是不是说，你希望把视觉中的局部性重新引入到 Attention 结构中，并且是在一个真实存在硬件与计算压力的应用场景下去做这件事情？

天辰博士： 对，基本就是这个意思。

绿洲： 那我们进入技术方案本身。你提出的这套 Pattern-aware 的 Token 重排列机制，整体技术架构是怎样设计的？能不能展开讲一下你们是怎么做的？

天辰博士： 好的，那我尽量用一个 Top-down 的方式讲一下。其实这个问题的核心主要就是研究方案的具体思路，尤其是关于 "最优的排列" 的确定。

绿洲： 我的理解是，你们一开始面对的是 3D token（比如帧、空间高度、空间宽度），但在模型里通常会被展平成 1D 序列，导致 Token 之间原本的毗邻关系被打乱。你们希望重新构建一个更合适的排列，让后续的稀疏化也好、量化也好更容易发挥作用。我想具体理解一下，你们是怎么确定这个 "最优排列" 的？

天辰博士： 其实这个问题其实我们前两天还在和审稿人讨论。

目前我们这套方案的设计其实是比较朴素的。我们并没有去构建一个非常宏大的搜索空间，而是只在一个很小的候选集合里做选择。具体来说，对于视频 Token 中的三个维度，比如时间维度和空间的两个维度，我们只考虑了这三个维度的全排列，也就是一共六种*（3 的全排列）*可能的排列方式。

之所以这么做，主要是基于我们在分析 Attention Map 时观察到的一些现象。我们打印了大量的 Attention Map，发现一个比较有意思的规律：在训练过程中，不同的 Attention Head 往往会沿着某一个维度，或者某两个维度的方向，去学习聚合关系。也就是说，每个 Head 通常会偏向于在某一个方向上形成比较明显的局部结构。

基于这个观察，我们的做法是：在这三个可能的维度方向中，找到每个 Head 对应的、最 "局部" 的那个方向，然后按照这个方向去对 Token 进行排序。这样做之后，原本在三维空间中局部聚合的关系，在一维序列中就会更容易被整理成相对规整的块状结构。

我不知道我刚才这样讲是不是足够清楚。

绿洲： 嗯嗯很清楚，那我追问一下，你们这种 "最优排列" 的方式，对不同的排列情况来说是固定的吗？还是说每次都需要重新去计算一次？

天辰博士： 这是一个很关键的问题。我们的方案和模型本身是有关的，也就是说，它和具体的模型权重是相关的。

但对于同一个模型来说，一旦确定了这个排列方式，它就是固定的。这是 Intuitive 的因为其实模型的权重学习到了 "某种局部性的倾向"，这是一个 "模型学习到的特点"，被"编码" 在了权重中。

换句话说，对于同一个模型，不管是不同的时间步，还是不同的输入噪声，或者不同的文本条件，我们使用的排列方式都是一样的，不需要在推理过程中反复重新计算或调整。

绿洲： 那我们再具体聊一下你们实际的操作过程。我看到你们的方案是先 Offline 地去确定最优排列，然后在 Online 阶段执行，用这种方式来提升硬件效率。

我比较关心的是，这个 Offline 确定的步骤是怎么整合进你们整个 Pipeline 里的？它是需要在运行过程中来回切换，还是一个单线程、无缝衔接的过程？

天辰博士： 这个可以理解成两个阶段。第一个阶段是在推理或者生成真正开始之前，我们会先基于一些代表性的数据，把所有需要离线完成的步骤提前做完，相当于是把需要 "校准" 的东西先校准好。

在 Offline 阶段结束之后，我们实际上已经知道了每一个 Attention Head，或者说每一类 Head，它对应的 Token 顺序应该怎么排列。这个结果可以被理解成一个 Index，或者说一组映射关系。

到了 Online 阶段，模型在真正运行的时候，就不需要再去做任何复杂的搜索或者判断了。它只需要按照这个已经确定好的 Index 去执行对应的排列，然后直接进入后续的计算流程。所以从整体上看，这两个阶段是比较解耦的：Offline 负责把复杂的事情提前处理掉，Online 则被尽量简化。

这也是我们这套方案和同期一些工作的一个比较明显的区别。很多方法为了获得更强的动态适应性，会把不少步骤放在 Online 阶段去做，希望模型能够根据不同的输入情况动态调整。但我们在分析中发现，这样做一方面会引入比较复杂的在线计算和控制逻辑，另一方面也不一定真的能带来最优的加速效果。

我们观察到，有些结构性的选择在不同时间步、不同噪声条件下其实是可以泛化的。比如 Token 的排列顺序，并不需要随着每一次输入变化而变化。因此我们选择把这些步骤放到 Offline 阶段一次性完成。这样一来，Online 阶段基本上不需要额外的计算开销，只负责执行已经确定好的加速路径。

绿洲： 也就是说，这本质上是一个静态的过程，对吗？

天辰博士： 对，是静态的。这一点其实是我们有意想强调的地方。

很多时候大家直觉上会觉得动态的方法在算法上听起来更先进，但我们做了比较系统的分析之后，发现动态策略往往会带来额外的开销，硬件效率会有小小的折扣；另外，从算法效果方面，由于在线方案只能基于 Softmax 之前的 Attention Map 来决定稀疏，我们发现在很多情况下，其实会没有利用好了离线的 Softmax 之后的 Attention Map 的方式准确。综合考虑之后，我们选择了静态方案，来拿到一个更好的性能 - 效率 Trade-off。

绿洲： 那我想再问一个关于普适性的问题。除了你们论文中讨论的这类生成架构之外，比如在其他图像或视频生成模型中，这种基于重排列、并行执行的方式是否也可以应用？

天辰博士： 你这个问题其实也是我之前在回答审稿人的问题。

从我们目前的理解来看，这个方法是具有一定普适性的。主要原因在于，我们的出发点并不是针对某一个具体模型结构，而是基于两个比较普遍的事实：一是视觉生成任务本身普遍存在局部性；二是 Transformer 架构在处理视觉数据时，通常需要把二维或三维结构展平成一维序列，这个 Reshape 或 Flatten 的过程会打破原本的数据邻接关系。

从这个角度看，只要是一个基于 Attention 的模型，用来处理视觉数据，不管是图像生成还是视频生成，都会在不同程度上受到这个问题的影响。因此，只要模型中存在类似的 Attention 计算结构，我们的方法在原理上都是可以适用的。

除了生成任务之外，我们其实也在一些理解类任务中做过补充实验。 比如在视觉理解场景中，一些高效模型会尝试用 Diffusion Model 去替代传统的语言模型或其他结构。我们在其中一个方法*（Llada-v）*上做过实验，这个方法里也有一个和视觉相关的版本。实验结果表明，在这些模型中同样可以观察到类似的现象，并且应用我们的方案之后，也能够获得比较稳定的收益。

绿洲： 我注意到你们在论文里给了比较多实验和评测结果。能不能简单总结一下，你们主要在哪些模型上做了实验，以及整体的表现大概是怎样的？

天辰博士： 我们这项工作开始得相对比较早，大概是在去年年底，所以最早的一批实验主要是围绕视频生成模型来做的。当时我们选择的主要实验对象是 CogVideo 这一类模型，它也是我们论文中的核心实验场景。

后来，随着更大规模、也更被社区认可的一些开源模型出现，我们又补充了一些实验。例如阿里推出的万象模型，我们也在上面做了验证。其中，CogVideo 作为主实验模型，万象*（Wan）*更多是作为一个补充实验，用来验证方法在不同模型结构下的表现。

从整体结果来看，在典型的视频生成场景中，我们的结论是：在应用稀疏和量化之后，从人的主观感受上，很难观察到明显的质量差异。也就是说，在生成效果上，并不会出现肉眼可见的退化。

在稀疏化方面，我们在比较稳定的设置下，大致可以把 Attention 的有效计算密度降到平均 20% 左右，相当于把原本的计算量减少到大约五分之一。这个设置在大多数视频生成场景中都能保持比较稳定的效果。

在量化方面，相比之前的一些工作，我们的方案可以把 Attention 的整个计算流程都推进到 INT8。对于部分模型和场景，还可以进一步推进到 INT4。不过需要说明的是，对于视频生成模型来说，INT4 已经是一个相对比较极限的设置，在一些情况下会开始出现不稳定或者轻微的抖动。

我们也在图像生成模型上做了实验。以某些图像模型为例，它们在量化方面的适应性反而更好，即使在 INT4 的设置下也基本没有明显问题；但在稀疏化方面，可压缩的空间相对有限，稀疏率大概在 50% 左右会比较稳妥。

整体来看，不论是视频生成还是图像生成，在效率提升的趋势上是比较一致的，只是在稀疏和量化这两个维度上，不同模型的 "舒适区" 会有所不同。

绿洲： 那最后我想请你讲一讲，你对这套方案未来发展的看法。你觉得它可能应用到哪些领域？以及大概会带来怎样的效果？

天辰博士： 如果单纯说这个方案本身，我觉得还是回到我们一直强调的那个出发点，也就是面向视觉数据感知的局部性。局部性这件事情本身是比较普遍存在的，不只是出现在某一个具体任务里。只要你涉及到对图像或者视频进行建模，不管是生成也好，还是更一般意义上的感知和表示学习，大概率都会遇到局部结构的问题。

相比于语言来说，其实图像是一种有挺大区别的模态。因为语言本身是符号化，高度抽象的系统。而图像是一种更为直观，更接近感官层面的模态。

我们把人看成一个 "压缩处理数据" 的智能系统的话，人的眼睛和大脑所接触的数据带宽其实是不太一样的。比如视频是一个带宽很大的数据源，我们需要先将其感知并建模成可以用符号化语言感知的 "概念"。我个人觉得这些更接近感官知觉的 "Low-level" 低层次的表征感知，是会比如语言的 "High-level" 高层次的符号化概念，会有更大的数据带宽，甚至一个显示的 "压缩映射" 过程的。以及个人会比较看好 "局部" 这种特点，是视觉模态的一个最关键特点，是视觉信息的 "符号化"（类比到目前大模型语境下的 Tokenization），甚至是符号之间的交互推理*（类比到目前大模型的 Transformer 做 Attention）*环节中非常重要的一个归纳偏置。

具体的来说，目前的方案还是一个非常保守和具体的方案，只是一个对于已有的模型进行 Post Training 压缩的方案。我们其实觉得将类似的思想，从技术实现上是有很多的拓展空间的，比如说修改 Attention 本身的机制让他能够被用到 Mid-training甚至 Pre-training 当中，让模型去天然的学到 "利用局部性"，而不是后验的 "挖掘模型已经挖到的局部性特点"。

我们希望随着进一步探索，可能这个方案乃至思想，可以影响甚至改变视觉感知的模型架构和基本特征提取算子的设计。

总的来说，对于这篇论文的核心思想，**"调整分布以更好的利用好数据的局部特性"，**其实是一个和视觉模态绑定的问题，如果进一步考虑跨模态的情况，比如文本和图像之间的关系，那情况就不太一样了。文本和图像之间的 Cross Attention，在任务形式和注意力模式上，本身就和图像内部的 Attention 不完全相同。所以在目前这个形态下，我们的方法未必能够直接应用到文本–图像之间的关系建模上。

从直觉上看，文本–图像的 Cross Attention 更像是在做一种对齐或者映射的子任务，而不是单纯的局部聚合。虽然它们在同一个模型里，但这两类 Attention 在模式上是不同的。我个人的理解是，它们本身就是两种不完全一样的子任务。

绿洲： 那如果从应用的角度来看，比如在实际系统中，很多场景是由文本去生成图像或者视频。在这种设置下，这套方法是否还有可能发挥作用？

天辰博士： 这个在原则上是可以的，但具体还是要看实际系统是怎么实现的。就像我刚才提到的，文本和图像之间的 Attention 在现有模型中是存在的，但它在整体计算中所占的比例其实并不大。

在目前比较典型的生成模型里，文本 Token 的长度通常不会特别长，可能也就是几百的量级；而图像或者视频在展开成 Token 之后，往往是几万甚至十几万的量级。这两个部分在计算量上本来就存在一个数量级上的差距。

所以在我们当前关注的技术方案里，主要优化的还是图像或视频内部的 Attention，因为这是计算量占比最高、也是最容易成为瓶颈的部分。文本–图像之间的 Attention 虽然在任务上很重要，但从计算开销的角度看，目前还不是最主要的问题。至于未来，如果模型形态发生变化，或者跨模态部分的计算规模显著增大，那可能需要重新评估。但在当前阶段，我们更倾向于把精力集中在图像和视频内部的结构优化上。

绿洲： 好呀，那最后咱们点一下题，你怎么看 Attention 机制在你所研究的领域中所扮演的角色？

天辰博士： 如果先把我自己放在一个 "做高效计算" 的视角上来看，这个问题其实是比较直接的。

首先，Transformer 模型，包含其中的 Attention 算子，目前已经非常有统一各种任务，作为 "唯一的模型架构" 的趋势。对于 Attention，只要模型的序列长度增长到一定规模，Attention 几乎一定会成为训练和推理中的主要瓶颈。所以从工程角度看，它是一个绕不开、也必须被优化的模块。Attention 本身的问题，核心在于它的计算复杂度是 O(N^2)。它是一种全局的聚合方式，也就是说，序列中的每一个 Token 都会和其他所有 Token 建立关系。在规模较小的时候，这样做是可接受的；但当 Token 数量不断增长时，这种全局建模方式是模型算法 Scaling 的一个很大的路障。

也正因为如此，过去几年里有大量工作都在尝试解决 Attention 的效率问题。大家普遍认为，全局 Attention 在很多情况下是存在冗余的，而且它并不是一个天然适合规模化的机制。这也使得 "如何让 Attention 不再那么 Global" 成为一个非常开放、但又非常重要的问题。

围绕这个问题，其实已经出现了很多不同的技术路线。比如稀疏 Attention*（比如NSA，MoBA）、线性 Attention（比如 DeltaNet，SANA，Qwen-Linear），或者其他 "次平方复杂度的" Attention 变体（比如 Mamba 等）*，这些都可以看作是在完整的全局 Attention 简化某种中间形态，加上某种 "归纳偏置" 在一个有限的空间中做优化，而不是广泛的全局空间。

同时，也有很多人不看好这些 Attention 的改进，认为全局 Attention 的这种弱归纳偏置，才是能够 Scaling up 数据和算力，甚至 Transformer 的必要条件；以及一些高效的 Attention 变体，是在尝试有一个 "有限且固定" 的记忆，去存储和表达 "无限" 的序列数据，是难以从一开始取得好的效果的。

整体来看，如何设计一个既高效、又能保持建模能力的 Attention 机制，本身就是一个很大的 Open Problem。 它也是构建基座模型的一个绕不开的最重要的问题，从算法以及系统而言。

绿洲： 确实，现在关于 Attention 效率的研究非常多。那如果把视角再放宽一些，你会如何看待 Attention 在更长期、甚至跨学科应用中的角色？

天辰博士： 我觉得在讨论这个问题之前，我们可能需要先框定一个定义，我们这里说的 Attention，到底是指具体 QKV 的计算形式，还是更抽象意义上的一种特征聚合方式。坦白来讲，从我个人阅读到的文献和知识里，我们其实目前还没有完全理解 "Transformer 中的 Attention 是为什么 Work 的"，如果是的话，我们也不需要有这么多 Efficient Attention 的探索了。

我觉得如果我们站到一个比较高的，跨学科，探讨思想的角度，在这个语境下 Attention 大概率不再是那个具体的计算图了。

我们可以先思考和探讨在深度学习语境下 Attention 的意涵和未来，如果让我目前对 "Attention 为什么 Work 找一个回答？"，我其实会觉得恰恰是 "更小的归纳偏置"，这可能和我们这篇工作尝试给 Attention 去增加归纳偏置有些矛盾哈，我可以展开解释一下。Attention 的成功离不开当前大规模预训练的时代主流，在 LLM 大模型时代之前，Transformer 架构在 NLP 中能受到广泛认可，就是由于它 Enable 了更大规模的参数模型的更大规模的预训练*（相比于当时的其他专用模型）。"引入更少的人为先验而依赖更大规模的模型与数据" 是整个深度学习的成功告诉我们的事情。Attention 作为一种 "通用序列数据建模" 方式（对比局部性的卷积，可能更多与视觉数据相对应）*，没有加入很多人为先验，切合了 "Scale Up" 的时代主流。但是这其实还是没有解答 "目前 QKV 的 Attention 方式在怎么 Work"，我觉得这是一个比较本质的 Open Problem。如果大家能在未来实践中更清楚这件事情的本质，是我比较看好 Attention 机制在未来发展改进的一个先置条件，不过我还是相信不管从哪方面，Attention 机制还是有其进步空间的。

如果我们拔高一些，考虑跨学科的思考，从脑科学，心理学乃至哲学的角度思考 Attention 的角色。我觉得其实是能够给 Attention 机制的成功进行更多的分析和阐释的。

可能需要先做一个免责声明，我个人是一个理科生，对于人文乃至思想哲学只能说是浅尝辄止，下面的个人观点一定有很多非常不严谨乃至误读的地方，我且姑妄言之了。

Attention 其实是作为目前神经网络模型中最核心的 "特征提取算子" 出现的，也就是我们在 "如何整合与提炼数据中的特点"，那么如果认为大模型在一定程度上类比人类的认知的话，那么其实 Attention 机制就所谓的 "硅基的智能" 的核心机理了，这是一个至关重要的角色，类比到我们的大脑，可能是一个和 "突触之间的大量电脉冲信号的聚合" 同等地位的 "底层机制"。有关这一点，其实我想表达的一个观点仍然是 "Attention 的成功源于它最适合当代深度学习的机制，它的思想也代表了深度学习机制的一个缩影"。

什么思想呢，从 "观测到的数据关联/相关性来构建认知"，我觉得这其实是经验主义的 "卷土重来"。深度学习从最早 AlexNet 时候替代专家系统时候，他的一个关键特点是 "从大规模数据中让模型自己学习出模式"，而不是基于预先建构的 "专家知识体系"。这其实和经验和理性主义是一个很有趣的对偶。经验主义认为知识的来源是经验，或者说感官的感知；与其针锋相对的理性主义，认为知识来源于先天的观念，或者理性的推演。

深度学习抛弃了专家系统的 "人为先验" 构成的 "理性框架"，而是单纯从 "观测数据" 的相关性中，去归纳总结出规律和知识；它的优化目标也是最大后验概率，打一个不太完全严谨的比方，即模型在预测 "什么事情是最可能发生的"，因为在训练数据中见过类似的情况。这一点其实很受人质疑和诟病，乃至觉得这种基于相关性*（Correlation）的建模，没法真的学习到 "因果"（Causality）*，但是大量的实验结果这是 Work 的。对应到脑科学和人类思想史上，其实类似的观点和 "路线之争"也存在。

从启蒙运动开始，经验主义和理性主义之争如火如荼，直到康德将两者调和，不过主流思想会更倾向于理性，认为人类的思想是构建在理性推理上的，这也是我们的教科书主要告诉我们的。不过其实深度学习的成功对于 "人类是如何思考" 这一问题，其实是有一些冲击的，人类思考过程到底是在 "基于已有的先验概念做严密的推理"，还是也是一个 "最大化后验概率" 让我们的认知符合我们的观测。

可能一些脑科学的观点和发现会让我们更容易接受这个开放性疑问，我之前看到过一个很有趣的脑科学子流派叫做 Predictive Coding，他们认为我们的大脑并不"产生意识"，而是对于我们观测到的外部世界，构建出一个 "最可能自洽的合理化解释"，让这些事情 "Make sense"；他们也提到了一些很有趣的现实实验结果，比如说一些研究发现，人身体移动产生的肌肉电信号，其实比人脑的电脉冲要更早发生，因此，并非大脑在 "操控身体"，而是大脑是在 "预测将要发生的运动"。

让我们回到 Attention 上，Attention 的 Query Key Value 的设计，最早从 Dictionary Leanring 视角的解释，就是认为 Value 是一个字典中的值，代表了学习到的信息与知识，而 Query 和 Key 将会做内积*（计算相关性）*，来产生Attention Map ([N,N]) 去建模每一个输入 Token 与其他所有 Token 的 “相对关系”，这个相对关系再被用来表示如何 “查询与组合知识”，让 Attention Map 再与 V 做内积。这样的一个架构，的确与经验主义所描述人类知识的产生过程有许多的相似性，我们的思考过程是去用感官的感知输入，去 “索引匹配” 历史经验。

我会觉得 Attention 的成功原因，可以作为 “构建事物相关性并产生经验” 的一个优秀的抽象模型，来作为一种思想与方法论，来反向启发我们的对 “人类认知” 的理解。

不过落回实际，从基础模型构建的角度，由于目前模型的生态、基础设施，工具链以及已经投入的巨大沉没成本，在主流应用场景上，在未来的较长一段时间内，我个人会比较看好 Attention 仍然会以当前的形态作为最关键的特征提取算子。

其他的高效方案，如果想要在主流任务上去 “替代” Attention，还需要等到 Attention 这个机制本身遇到无法解决的第一性问题才行。目前的效率问题还属于能够通过一些比如局部 Attention，或者其他层面的压缩来进行解决。

绿洲： 所以你的判断是，Transformer 这样的整体架构不会被轻易替代，但 Attention 的具体实现形式仍然会发生变化？

天辰博士： 对，我大概是这个看法。Transformer 作为一个统一的建模框架，我觉得它会长期存在。但 Attention 作为其中的一个具体组件，很可能会不断演化，短期来看是由于硬件系统约束而需要做的一些小调整*（如稀疏，低比特等），*长期来看，我个人期待随着学界对 Attention 机制的更深刻理解，会有一些更本质的机制本身的改进的出现。

不过无论如何，它是整个深度学习思想的成功的一个 “缩影”，这也是为什么我们会选择从 Attention 这个角度切入，去做这篇工作的原因。

受访者简介

赵天辰博士，清华大学电子工程系高能效计算实验室博士研究生。

本篇是他在字节跳动 Seed-视觉团队从事研究工作期间完成的。他的研究方向主要集中在面向视觉生成模型的高效算法设计，以及算法与硬件协同优化问题。面向视觉生成场景的稀疏，低比特量化，模型构建与对应算法方案的系统联合优化相关工作涵盖注意力机制优化，其研究成果发表于 ICLR、ECCV、CVPR、DAC 等会议。

**论文地址：**https://arxiv.org/abs/2506.16054

感谢天辰博士受邀参与对谈。

绿洲持续诚邀全球一线的研究者、开发者与思考者，共同推动这场关于注意力的探索。

如果您正在做与注意力相关的研究，无论是算法、系统、认知、神经科学，抑或产品设计与内容建构，愿意和我们一起展开探讨和对话，请通过文末二维码联系我们！