Transformer

自 2017 年问世以来，Transformer 几乎成了现代 AI 的通用底座，其核心机制分为两部分：Attention 负责在序列维度上选择信息，决定"看哪个词"；残差连接则负责在深度维度上传递信息，把前面层的计算结果一路传下去。前者被反复研究和改进，后者却一直以最朴素的形态存在——每一层输出直接加到下一层输入，权重恒为 1，所有层不分主次，这种"平权"设计随着模型加深，代价越来越高，早期重要信息被后来的噪声稀释，整体效率持续下降。

这一架构的局限也催生了多条替代路径。Google 提出的 HOPE 架构用多频率连续记忆系统替换了 Attention，通过层级时钟机制让不同神经元以不同周期更新，显著减少灾难性遗忘；Mamba 等 State Space Models、Linear Attention 机制则试图通过更高效的状态压缩，弥补 Transformer 在长程状态管理上的先天不足——它缺乏可读写存储器，无法显式存储或更新中间推理状态。回头来看，GPT 的伟大之处或许不在架构本身，而在于 next-token-prediction 这个训练任务的定义。