Research

2026年9月28日Jikai Li产品开发研究开发

稀疏模型:起源、重要性以及LLM的前沿与未来

Product

免费开始(筹备中) 咨询企业版

Career

我们正在积极招聘与mign一起从事专业型AI代理服务开发的人才

本文由日语原文自动翻译而成

Overview

截至2026年,稀疏性(sparsity)不再是"可有可无的效率优化技术"。它已成为前沿级大规模模型的默认架构约束,同时决定了大规模模型的运营成本和长文档处理代理的阅读精度。最直接的证据是2026年9月10日发布的DeepSeek-V4.1-Flash。骨干网络拥有552B参数,但在预填充时每个令牌仅激活8B,解码时仅16B,驻留在GPU内存中的全局KV缓存每令牌仅890字节,相比DeepSeek-V1压缩到1/437(DeepSeek官方发布,技术报告 arXiv:2609.19969)。

3个要点

  • 稀疏性的系谱是连续的。从Barlow和Olshausen–Field的"脑稀疏编码",经过小波、LASSO、压缩感知的"可计算稀疏性",到MoE、稀疏注意力、条件记忆的"作为架构的稀疏性"。其根本处始终存在同样的先验(prior):即"真正重要的成分极其稀少"。这三个成功系谱的共同之处在于,稀疏模式与硬件相适配。非结构化权重剪枝失败不是因为理论,而是因为硬件。

  • 为什么是现在。因为扩展遇到了推理成本和内存墙,长上下文代理使KV缓存和预填充成为主导成本。因此,稀疏性的作用从"计算节省"扩展到"内存、带宽和存储节省"。2024年主流MoE每令牌激活约25%的参数(Mixtral),但到2026年这一比例已降至1.5%~4.5%(DeepSeek-V4.1、Kimi K3、Qwen3.5)。

  • 稀疏性不是万灵药。关于稀疏注意力的最大规模评估(Nawrot et al., Findings of ACL 2026)表明,几乎所有稀疏配置在至少一项任务上都会产生显著性能下降。在可解释性领域,稀疏自编码器(SAE)在2025年也面临系统性负面结果。模型选择应基于自身业务最具挑战的任务的得分,而非平均分数。

贯穿本文的两条主轴

  • 5种稀疏性:激活稀疏性、权重稀疏性、结构化稀疏性、条件计算(MoE),以及注意力稀疏性。"稀疏性有用吗"这类讨论必须先明确属于哪一种。

  • 3个算子:软阈值处理(L1的近邻算子)、硬阈值处理(L0)、以及top-k投影(到L0球的投影)。从1994年的小波去噪到2026年的MoE路由,"制造零"这一步骤只是在不同对象上应用这三个算子之一。现代大规模模型几乎都使用第三种,因为它能精确固定每令牌的计算量,并与硬件并行粒度对齐。

全文反复出现的5个术语

术语简言之
令牌模型处理的文本最小单位。可以是单词或其一部分。"每令牌激活多少参数"是指输出少量文本时使用的计算量
参数与激活参数参数是模型保持的数值总体(了解多少)。激活参数是处理一个令牌时实际用于计算的部分(运行成本多少)。稀疏化就是将这两者分离
基与坐标"构建块"的集合。数据可以写成其加权和,权重对应坐标。改变块也就改变坐标系。数据相同但读取的值会改变
范数L2是长度,L1是分量绝对值之和,L0是非零分量个数。稀疏就是L0较小
浮点数和内存带宽计算吞吐量是每秒执行的乘加运算次数,带宽是每秒从GPU内存读出的字节数。在现代大规模模型的解码阶段,瓶颈通常是后者

术语注记:本文严格按"大多数元素为零"的含义使用"稀疏"。"低秩"指"元素均非零但自由度少"(如MLA或LoRA)。两者经常被混淆,但本文始终一致区分。

本文的阅读方式

本文按时间顺序进行,每个时代回答相同的4个问题:当时的背景和瓶颈是什么。稀疏性如何出现。它解决了什么,代价是什么。它与今天的大规模模型如何联系。"前史"章探讨为什么世界是稀疏的。"古典时代"展示数学如何将其变成工具,"神经网络时代"解释为什么当稀疏性引入神经网络时剪枝会失败。中心的"当今"章论述2023~2026年大规模模型为何全面转向稀疏化,并系统比较各研究机构的方法。"稀疏性与深度学习相遇的地方"章涉及图像和信号处理中稀疏性与深度学习的融合,"应用""收益与成本""未来""对我们的意义"各章分别讨论应用、成本、前景,以及这一切对我们的意义。附录汇总了年表、数据、轶事和参考文献。

前史:为什么世界本身是稀疏的

稀疏性不仅是数据的性质,而是"数据与其描述方式"这一对的性质。在适当基底下,世界是稀疏的。科学史在某种意义上就是寻找这个基底的历史。本章展示3种经验证据和1个思想源流,之后明确其局限。

自然画像のスパース符号化で学習された基底関数
图1. 自然图像稀疏编码学习的基函数:Olshausen & Field (1996)实验的复现。来自Olshausen与原代码一起发布的白化自然图像集,学习192个16×16像素基函数,仅由"重构补丁"和"保持系数稀疏"两个约束。得到的基函数呈现局域化、方向选择性和带通特性,类似V1简单细胞感受野。根据Olshausen & Field, "Emergence of simple-cell receptive field properties by learning a sparse code for natural images," Nature 381, 607–609 (1996),为本文进行的实验复现,非原论文图。

哲学与信息论:直观与框架,而非技术起源

奥卡姆剃刀是偏好简洁性的哲学原理,而非稀疏模型的技术出发点。Shannon (1948)量化了"冗余性"。码长中超出信息源熵的部分是可压缩的冗余,稀疏表示本质上就是揭示这种冗余的基底。Kolmogorov复杂性(1960年代)提出了"最短描述"的理想,但计算不可行。Rissanen的MDL(最小描述长度,1978)将其转变为模型选择的实用标准。稀疏模型可作为MDL的特殊情况理解:描述长 ≈ 非零分量个数 × 每个系数的编码成本。这些思想应作为"稀疏模型的知识前史"而非"发明者"来记述。

来自自然界的3个证据

自然图像。自然图像的功率谱大致遵循1/f²的幂律,表现为近似尺度不变性(Field 1987; Ruderman & Bialek 1994; 综述参见Simoncelli & Olshausen 2001)。在小波等局域、带通基底中,自然图像系数呈现重尾分布。大多数接近零,仅边缘处少数几个较大。非线性逼近理论(DeVore 1998; Donoho 1993)证明,对于分段光滑信号,小波基最优n项逼近的误差衰减速度快于任何固定线性基。这是JPEG2000和压缩感知的理论基础,图3的Haar例子是其最小演示。

语言。单词频率遵循Zipf定律。少数单词占据出现的大部分,尾部极其冗长。因此词袋模型和TF-IDF表示极度稀疏。同样的统计解释了MoE专家负载本质上的不均衡,以及DeepSeek何以使用N元语法查找表作为条件记忆(Engram)。

大脑。Barlow (1961)提出了冗余削减假说。感觉系统的目的是消除冗余、构建统计独立表示,这是稀疏编码的神经科学源流。Attwell & Laughlin (2001)计算了灰质能量预算,由此Lennie (2003, Current Biology 13:493–497)推断,由于单次脉冲成本极高,"可能同时实质活动的神经元数量严格限制在1%以下"。

这里必须澄清一点广为流传的误解。广泛说法"大脑仅使用1~4%的神经元"是辗转传述。Glorot、Bordes、Bengio (2011)引用Lennie时写了"1~4%",此数字此后不断被转述。Lennie原文是"大概1%以下",且这是从能量约束推导的理论上界,而非测量值。稀疏性意指"某时刻强烈放电的比例低",而非"大脑大部分闲置"。

局限与反例

稀疏不等于低秩。稀疏是某基底或字典下非零系数少(用L0/L1衡量)。低秩是矩阵奇异值少(用秩或核范数衡量)。LoRA和MLA是低秩,MoE、top-k注意力、SAE是稀疏。截断SVD给出低秩矩阵,其中仅奇异值谱是稀疏的。

世界并非总是稀疏的。Robust PCA(Candès, Li, Ma & Wright 2011)将数据分解为"低秩+稀疏",表明真实数据通常同时具备两者。在视频中,背景是低秩的,前景是稀疏的。由纹理或噪声主导的信号在常用基底下不是稀疏的。LLM残差流中特征的叠加(superposition)意味着在单个神经元级别上表示是密集的,只有在过完备字典下才变为稀疏。这是本章"现在"部分关于SAE讨论("可解释性中的稀疏性"章节)的出发点。

本章总结。稀疏性是可证伪的先验分布,而不是普遍真理。正因为在自然图像、语言和神经活动中反复得到证实,才值得"下赌注"。但下赌注前,必须提出一个问题:在哪个基底下是稀疏的?

三项证据的细节:为什么是这些统计规律

自然图像的1/f谱从何而来?有两种互补的解释。第一种是尺度不变性。自然场景中物体的大小跨越多个数量级,无论放大还是缩小,图像的统计特性都不变。数学上,这迫使功率谱遵循幂律。第二种是遮挡(occlusion)模型。场景由前后重叠的物体组成,边缘产生不连续性,在频域中表现为衰减缓慢的高频尾部。两种解释都指向同一结论:自然图像既不是"随机噪声"也不是"处处光滑",而是"广泛的平坦区域+少量边缘"。这正是小波基底最擅长的结构。Field (1987)更进一步指出,如果视觉皮层简单细胞的感受野带宽适配这种统计特性,那么每个细胞对自然图像的响应就会呈重尾分布,即大多数时间几乎无反应,偶尔强烈放电。这是神经科学中"稀疏编码"一词的本来含义。

为什么Olshausen和Field的实验如此有说服力?1996年的实验对算法仅施加了两个约束:用线性基函数的组合重构自然图像补丁,并使系数尽可能稀疏。没有任何关于大脑的先验知识。但学习到的基函数变成了局部的、方向选择的、带通的,与猫和猴V1简单细胞的感受野惊人相似。这个结果的力量在于其方向性:不是"以大脑为灵感设计算法",而是"稀疏性原理独立地预言了大脑结构"。后来Hromádka、DeWeese和Zador (2008)在清醒大鼠听觉皮层记录到了高度稀疏的放电模式,Quian Quiroga等人(2005)在人类海马体发现了对特定人物或地标有选择性反应的"概念细胞"。这些都被视为稀疏编码假说的证据。但也有异议。Spanne和Jörntell (2015)等人辩称,严格的稀疏编码并非在整个皮层普遍存在,稀疏程度依赖于脑区和任务。因此这应该作为"广泛支持的假说"来书写,而不是既定的定论。

为什么能量会强制稀疏性?人脑仅占体重的约2%,却消耗安静时代谢的约20%,即大约20瓦。Attwell和Laughlin (2001)估计,灰质能量的大部分用于突触传递和动作电位。Lennie (2003)从此反推:如果每次尖峰消耗这么多能量,皮层就没有余地让大量神经元同时以高频率放电。这个论证是"预算约束下的上界",得出的不是测量值而是"可能少于1%"的估计。其意义不在具体数字,而在逻辑:在能量或带宽受限的系统中,稀疏性不是选项而是必然。同样的逻辑在"神经网络时代"章中作为GPU上的"内存墙"重新出现。

语言中的Zipf定律和长尾。Zipf (1935)观察到单词频率与其排名大致成反比:第二常见的单词出现频率约为第一的一半,第十个约为十分之一。Mandelbrot后来给出了修正形式。直接推论是,任何文本只使用词汇的很小一部分,大多数单词只出现一两次。在统计语言模型时代,这表现为极度稀疏的n元语法频率矩阵和"零概率"平滑问题(Good–Turing、Kneser–Ney)。在大规模模型时代,它以两种方式重新出现。其一是MoE的路由负载本质上偏斜:热门的专家承担大部分token,负载均衡机制不得不介入。其二是DeepSeek的Engram。它将n元语法查找表复活到前沿架构中,将高频模式路由到廉价的查找路径,只让真正需要推理的部分流向昂贵的Transformer层。

物理学和工程中的稀疏性

稀疏性的历史在工程领域比机器学习更悠久。科学计算中,有限元法和潮流方程的系数矩阵本质上是稀疏的,因为每个节点只与相邻节点耦合。Tinney和Walker (1967)在求解电力系统时提出了最优排序以减少高斯消去中的"填入",这是稀疏直接法的起点。随后Rose (1972)用图论语言描述了消去过程,Gilbert等人发展了稀疏LU分解,稀疏线性代数成为了一个分支。地震勘探中,地下反射率序列被建模为稀疏的尖峰列,反卷积问题可用L1正则化求解,这比压缩感知早了20年。雷达和阵列信号处理中,目标在角度、距离和速度空间中稀疏分布,超分辨率估计采用稀疏恢复。

这些领域的共同点是,稀疏模式源自物理结构(邻接关系、反射、目标数量),因此是可预测和可利用的。这与"古典时代"的小波(结构源于分段光滑性)和"现在"的MoE(结构源于专家块)一脉相承,也解释了为什么"神经网络时代"非结构化的权重稀疏性会失败:这些零没有物理结构,硬件无法利用它们。

社会现象中的镜像及这种思维方式的局限

Pareto的80/20法则、Anderson的长尾理论,以及"少数关键变量解释了大部分方差"的因子分析传统,都是映现在社会科学中的稀疏性先验分布的镜像。它们表明稀疏性是关于世界结构的假设,而不是定理。Gelman等统计学家一直质疑"向稀疏性下赌注"。他们论证,在社会科学的许多问题中,真实效应是密集的和微小的,稀疏方法会系统地遗漏它们。同样的批评也适用于机器学习:LLM残差流中的特征通过叠加密集地存储,稀疏性只有在切换到过完备字典后才显现。因此本文的立场如下:由于稀疏性在大量自然数据中反复得到证实,它值得作为初始先验分布下赌注。但每次下赌注时,都要回答"在哪个基底下是稀疏的?"这个问题,如果证据不支持,要做好放弃的准备。

古典时代(1960年代~2014年):稀疏性如何成为计算工具

古典时代成功的稀疏方法有一个共同点:稀疏模式是结构化的且可预测的,正因如此才能被纳入硬件和行业标准。这也是"神经网络时代"中所述"失败"的伏笔。下表用三个问题整理了里程碑:为什么在那个时期出现、当时的瓶颈是什么、解决了什么。

圧縮センシングのファントム実験の再現
图2. 压缩感知一页纸讲解:Candès、Romberg和Tao (2006)幻影实验的复现。仅测量傅里叶变换的22条径向线(约11%的系数)。用零填充缺失系数会产生条纹伪影的最小能量图像,但以相同测量值为约束条件最小化全变分(TV)可精确复原幻影。出处:根据Candès、Romberg和Tao的"Robust uncertainty principles," IEEE Trans. Inf. Theory 52(2), 489–509 (2006)图1,由作者为本文计算的复现,不是原论文的图。
里程碑为什么在那个时期出现当时的瓶颈解决了什么
稀疏矩阵直接法(Tinney & Walker 1967)电力网大规模化,内存为KB级密集消去法为O(n³),内存不足仅保存非零元素,用最优排序减少填入
小波(Daubechies 1988; Mallat 1989)傅里叶基对边缘不稀疏边缘能量在频域中扩散分段光滑信号在小波域中稀疏
Matching Pursuit (Mallat & Zhang 1993)过完备字典的出现表示不唯一贪心原子选择
小波阈值去噪(Donoho & Johnstone 1994)系数稀疏,噪声均匀线性滤波器将边缘模糊化软阈值处理=L1近似算子。几乎极小极大最优
Breiman的garotte 1995 → LASSO (Tibshirani 1996)p ≫ n的高维数据最小二乘设定不良,子集选择不稳定同时实现收缩估计和变量选择
Basis Pursuit (Chen, Donoho & Saunders 1998)凸优化成熟L0为NP困难用L1进行凸松弛
非线性近似(DeVore 1998)需要解释"保留最大的k项"的最优性线性近似收敛慢最优n项近似理论
JPEG (1992) / JPEG2000 (2000)数字图像普及带宽和存储稀疏变换+量化+熵编码
LARS (Efron et al. 2004); Elastic Net (Zou & Hastie 2005)LASSO需要高效的路径算法求解慢,相关变量不稳定批量计算整个正则化路径。L1+L2
压缩感知(Candès–Romberg–Tao 2006; Donoho 2006)稀疏理论与随机矩阵理论相遇采样被Nyquist频率束缚在RIP条件下,从m ≳ k·log(n/k)次测量恢复
K-SVD (Aharon, Elad & Bruckstein 2006)需要可学习的字典固定小波不适配特定数据稀疏编码与字典更新的交替优化
Donoho–Tanner相变(2009)需要表征L1成功的条件理论上界过于松散(m/n, k/m)平面上的尖锐相变
稀疏编码(Olshausen & Field 1996)、快速算法(Lee, Battle, Raina & Ng 2007)对Barlow假说的回应为什么V1感受野呈Gabor形状稀疏字典再现V1感受野
猫脸神经元(Le et al. 2012)分布式学习的出现高阶特征是否无监督地出现见下文
最优奇异值硬阈值(Gavish & Donoho 2014)低秩去噪需要有原理性的阈值截断秩以经验法则选择方阵且σ已知时为(4/√3)√n·σ,未知时为中位数的2.858倍

统计学中的"赌稀疏性"原则

Hastie、Tibshirani和Friedman在《统计学习的要素》中提出了"赌稀疏性"(bet on sparsity)的原则。如果真实模型是稀疏的,L1就能找到它。如果不稀疏,任何方法都不会奏效。因此要赌稀疏性。高维统计学量化了其精确代价。要恢复p维中k稀疏的向量,需要n ≳ k·log p个样本(Wainwright 2009)。压缩感知中的对应结果是m ≳ C·k·log(n/k)次随机测量,只要RIP常数满足δ₂ₖ < √2−1 ≈ 0.414,L1就能精确恢复(Candès 2008)。

三个现实案例(数值已验证)

CS-MRI。Lustig、Donoho、Pauly (2007)奠定了压缩感知MRI的基础。临床数值必须准确引用。Sartoretti et al. (2019, PLoS ONE 14(4): e0214887)报告,在日常临床中平均扫描时间缩短20.2%,检查时间缩短16%,适用序列的成像时间缩短23%至43%,同期检查数量增加27%(原始资料)。Vranic et al. (2019, AJNR 40(1):92–98)报告脑部FLAIR和GRE序列分别缩短25%和35%。常被引用的"加速30%至60%"缺乏原始资料支持。

黑洞成像(EHT)。支持2019年M87*首张图像的三个成像管道之一SMILI源自Honma et al. (2014)和Akiyama et al. (2017)的稀疏建模(L1+TV正则化)系譜。另一管道CHIRP (Bouman et al. 2016)不是纯压缩感知,而是使用图像块先验,"一位研究员用压缩感知拍摄黑洞"的报道过度简化了。

猫脸神经元。Le et al. (2012, ICML, arXiv:1112.6209)在YouTube的1000万帧上训练了约10亿个连接、9层、局部连接的稀疏自编码器,用"1000台机器(16000核)3天"时间学习。无监督地,出现了对人脸和猫脸选择性响应的单个神经元,下游ImageNet达到15.8%精度,相对于先前最佳结果提升70%。这种"稀疏编码 → 无监督特征"的系譜在2012年后被监督CNN压制而衰退,但在2023年以Anthropic的SAE形式回归。

平行系譜:低秩

截断SVD(Eckart–Young–Mirsky定理)是秩不超过k的所有矩阵中的最佳近似,Gavish & Donoho (2014, IEEE T-IT 60(8):5040–5053)给出了去噪的最优硬阈值。这在结构上与小波阈值去噪同构。两者都遵循"基变换 → 阈值处理 → 逆变换",区别仅在于小波基固定,而SVD基从数据计算。前者阈值处理后信号仍稀疏,后者截断矩阵虽低秩但密集。这个系譜在"现在"章中以MLA和LoRA的形式回到大规模模型。

逐步推进:为什么每次进步都发生在那个时期

从傅里叶到小波(1980年代)。傅里叶基将信号分解为全局正弦波。对平稳信号高效,但对边缘和瞬态极其浪费。表示单个阶跃需要无穷多个频率成分,能量分散到整个频率域。工程中已有Gabor变换或短时傅里叶变换等绕过方法,但缺乏统一数学框架。Mallat (1989)形式化了多分辨率分析,Daubechies (1988)构造了紧支撑正交小波,同时满足了局部性、多尺度结构和正交性。每个小波基函数仅在有限范围内非零,在所有尺度上重复。因此分段光滑信号仅在边缘位置和少数尺度产生大系数,其余几乎为零。DeVore (1998)和Donoho (1993)证明了这不是经验巧合。对分段光滑函数类,任何固定线性基都达不到小波基最佳n项非线性近似的误差衰减率。JPEG2000 (2000)将这一理论转为标准规范,用小波替代JPEG的DCT,在相同比特率下大幅减少块状噪声。

Haarウェーブレットの手計算の例
图3. 手工可算的例子(教学视频系列的截图)。对信号[5,5,5,5,9,9,1,1],连续取3次相邻值的平均(蓝)和差的一半(黄)后,非零值仅有2个(5和4),反向计算精确恢复全部8个值。使用规范正交缩放(÷√2而非÷2)时两个值变为14.14和8,能量守恒(264 = 264)。相邻值相等处"差"为零。这就是分段平坦信号在小波域稀疏的原因。

从最小二乘到LASSO(1990年代)。统计学面临不同类型的稀疏性:系数在某基下是否稀疏,而是"哪些解释变量真正重要"。经典方法是子集选择(逐步回归、AIC/BIC),但它是组合搜索,对数据微小扰动极不稳定。Breiman (1995)提出非负garotte,将变量选择重新表述为连续缩放问题。受其启发,Tibshirani (1996)提出LASSO,即L1惩罚最小二乘。L1的行为由其几何决定。约束域是有角的菱形,最优解易落在角上,每个角对应若干系数恰好为零的点。这是"缩放和选择同时发生"的机制。LASSO的算法瓶颈在2004年被LARS(Efron、Hastie、Johnstone、Tibshirani)消除,允许一次计算整个正则化路径。2005年Zou和Hastie的Elastic Net用L1+L2处理强相关变量组。高维统计学提供理论保证。Wainwright (2009)证明了在p维恢复k个非零系数需要n ≳ k·log p个样本即可,Bickel、Ritov、Tsybakov (2009)建立了LASSO和Dantzig选择器的Oracle不等式。

信号处理中的独立发现(1993–1998)。几乎同时,信号处理从"过完备字典"出发独立抵达相同的L1。匹配追踪(Mallat and Zhang 1993)贪心选择与残差最相关的原子,基追踪(Chen, Donoho, and Saunders 1998)将寻找"最稀疏表示"的NP困难L0问题松弛为L1线性规划。LASSO和基追踪数学上是同一问题的两种参数化,但来自几乎无交集的两个社区。稀疏性思想"从多个源收敛"的第一个事例。

去噪:稀疏性首次直接产生价值的时刻(1994)。Donoho和Johnstone的小波阈值去噪将上述理论变为3步过程。用正交变换进入小波域。对系数应用阈值λ=σ√(2 log n)的软阈值处理S_λ(w)=sign(w)·max(|w|−λ,0)。用逆变换回到信号域。其成功的关键是正交变换保存白噪声统计性质。在小波域中,噪声仍为等方差独立高斯噪声均匀分布于所有系数,而信号能量集中在少数大系数,捨弃小系数即可。软阈值处理算子恰是L1惩罚的近端算子,因此去噪、LASSO、后来的ISTA/FISTA (Beck and Teboulle 2009)和LISTA (Gregor and LeCun 2010,算法展开的起点)共享相同的核心运算。

压缩感知:将稀疏性从"测量少,得到多"转化为实践(2004–2009年)。到目前为止的所有方法都假设完整数据已经在手,然后在其上寻找稀疏表示。Candès、Romberg、Tao (2006)和Donoho (2006)提出了反向问题:如果我们已知信号在某个基下是k-稀疏的,那么精确重构需要多少次测量?答案是m ≳ C·k·log(n/k)次随机线性测量,远低于奈奎斯特速率。条件是测量矩阵满足限制等距性(RIP),即对所有2k-稀疏向量近似保持其长度。Candès (2008)给出了充分条件δ₂ₖ < √2−1 ≈ 0.414,DonohoTanner (2009)用组合几何刻画了L1重构成功与失败之间的尖锐相变。压缩感知的历史意义在于:它将稀疏性从"表示的属性"升级为"采样原理",直接改变了成像硬件的设计。Lustig、Donoho、Pauly (2007)将其引入MRI,通过随机欠采样轨迹换取扫描时间缩短。Duarte et al. (2008)制造了单像素相机,在射电天文学中,SMILI流程为EHT黑洞成像使用了L1和全变差正则化。

字典学习与稀疏编码:从固定基到学习基(1996–2012年)。小波是人类设计的固定基,不一定适合特定数据。Olshausen and Field (1996)从数据中学习字典,重现了V1感受野。K-SVD (Aharon、Elad和Bruckstein 2006)提供了实用算法,交替执行稀疏编码和逐原子SVD更新。Lee、Battle、Raina、Ng (2007)加速了L1稀疏编码,推进了"自学学习"。Le et al. (2012)堆叠稀疏自编码器至9层、10亿连接,从YouTube 1,000万帧中无监督学习到了对猫脸选择性的神经元。2012年AlexNet之后,这一系譜在监督卷积网络的阴影下隐没十年,但留下了两样东西:「过完备字典+稀疏系数」的表示框架,以及「字典可从数据学习」的信念。2023年Anthropic用稀疏自编码器解读大规模模型的内部特征时,引用的正是Olshausen和Field,相关论文的共同作者包括Olshausen本人。

低秩:稀疏性的孪生(1936–2014年)。Eckart and Young (1936)证明了截断SVD是矩阵的最优低秩近似。低秩与稀疏在结构上同构:两者都"将能量集中在少数分量,截断尾部",但作用对象不同。稀疏截断坐标,低秩截断方向。Gavish and Donoho (2014)给出了低秩去噪的最优硬阈值,与小波去噪通用阈值相呼应。稳健PCA (Candès et al. 2011)将两者结合:数据=低秩+稀疏。这一区别在"当下"一章中变得至关重要。DeepSeek的MLA是低秩压缩,而DSA和CSA2才是稀疏注意力。两者常被混淆。

总结:古典时代留给深度学习的三大遗产

第一,找到正确的基比处理数据本身更重要。同一图像在像素基下是密集的,在小波基下是稀疏的。差异完全在表示方式。第二,制造零的运算只有三种:软阈值处理(L1)、硬阈值处理(L0)、保留最大k个(向L0球投影)。第三,只有结构化稀疏性才能到达硬件和标准。小波树结构进入了JPEG2000,随机欠采样进入了MRI产品。三大遗产都在"神经网络时代"和"当下"以新装扮重新出现。

神经网络时代(1990–2022年):稀疏性的挫折与转折

稀疏性并未战败。不适配硬件的稀疏性战败了。非结构化权重剪枝在理论上成功,在GPU上失败了。MoE把稀疏化单元改成整个专家块,每个专家内部仍是密矩阵乘法,结果击中了硬件彩票。本章解释原因。

2017年のスパースゲート付きMoE層
图4. 嵌入LSTM层之间的2017年稀疏门控专家混合层。对每个输入,门控网络从n个专家中选2个,其输出按门值加权求和,其他专家被完全跳过。稀疏化单元是整个专家块而非单个权重,这就是它不同于非结构化剪枝、与硬件兼容的原因。出处:Shazeer et al.,"Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer," ICLR 2017 (arXiv:1701.06538), Figure 1。© 原作者。为解释目的转载。

剪枝系谱与"稀疏性壁垒"

OBD (LeCun、Denker & Solla 1990)从二阶信息估计每个权重的重要性,OBS (Hassibi & Stork 1993)用完整海塞矩阵精化。Deep Compression (Han、Mao & Dally 2016)结合剪枝、量化、哈夫曼编码,将AlexNet从240 MB压缩到6.9 MB。彩票假设(Frankle & Carbin 2019)表明,密网络中包含稀疏子网络,单独训练也能达到相同精度。SparseGPT (Frantar & Alistarh 2023)和Wanda (Sun et al. 2023)展示GPT级模型可一次性剪枝到50%,精度损失极小。

但LLM时代来临后,这一系谱遇到壁垒。2025年10月的ELSA论文(arXiv:2510.01650)称其为"稀疏性壁垒"。现有方法似乎"无法在不大幅损失精度的情况下超越50–60%的稀疏性"。ELSA声称用ADMM可将LLaMA-2-7B剪枝至接近90%,但该声称仍在讨论中。

活性稀疏性:ReLU的实际数字

Glorot、Bordes、Bengio (2011, AISTATS)是活性稀疏性的一手资料,其数字值得精确引用。均匀初始化后,约50%隐藏单元输出严格零。学习后平均严格稀疏率为MNIST 83.4%、CIFAR10 72.0%、NISTP 68.0%、NORB 73.8%。结论是"最佳泛化模型的稀疏率在50%到80%之间",且可将稀疏性强制至约85%而不损害性能。"ReLU 90%稀疏"的说法没有原始出处支持。

顺便区分一下。Dropout是学习时应用的随机正则化,推理时网络回到密集。剪枝是永久删除权重。两者都能写成"应用掩码",但掩码的随机性、作用阶段、目的完全不同。

为何非结构化权重稀疏性在GPU时代战败

硬件彩票。根据Hooker的定义(硬件彩票, 2020/2021),研究想法胜出不是因为它更优秀,而是因为它适配可获得的软硬件。GPU和TPU为密集、连续矩阵乘法设计。非结构化稀疏性引入gather/scatter,破坏GEMM平铺数据流,减少片上缓存复用,多数情况下无法使用张量核心。经验上,cuSPARSE等库只在稀疏率约90%以上才显示明确加速,50%非结构化稀疏性在GPU上几乎没有现成核心能超过密集GEMM。

2:4结构化稀疏性。Ampere之后的GPU支持4个权重中恰好2个为零的模式,若满足该模式理论吞吐量翻倍。但稀疏率上限50%,精度恢复需再训练或微调,端到端加速很少接近2倍,故在LLM部署中不如量化普及。

为何量化胜出。量化减少每参数比特数,但不改变矩阵规律性,任何GPU自然受益。GPTQ (2022)和AWQ (2023)之后,MXFP4成为2025–2026年原生格式。gpt-oss用MXFP4(每参数4.25比特)存储MoE权重(全参数90%以上),使120b模型适配单块80 GB GPU。Kimi K3用MXF4权重和MXFP8活性进行量化感知学习(QAT),DeepSeek-V4系专家参数用FP4。

内存墙。从V100到B200,峰值计算性能增长远超内存带宽(基于各厂商公布规格的数量级数字)。

GPU密集BF16/FP16计算性能HBM带宽每字节运算数(概算)
V100 (2017)约125 TFLOPS0.9 TB/s140
A100 (2020)约312 TFLOPS1.6–2.0 TB/s155–195
H100 SXM (2022)约989 TFLOPS3.35 TB/s295
B200 (2024)约2.2 PFLOPS(FP4约9 PFLOPS)约8 TB/s280(FP4约1,100)

在解码期间,每生成一个令牌,参与计算的权重都必须从GPU内存中读取。当批处理大小较小时,计算单元大多处于空闲状态,瓶颈转向带宽。这就是为什么"减少要读取的参数和KV"比"减少浮点运算"更有价值。MoE减少了每个令牌读取的权重字节数,稀疏注意力和KV压缩减少了缓存字节数。两者都是在削减最昂贵的开销。

条件计算的系谱(转折点)

  • 1991年 Jacobs、Jordan、Nowlan、Hinton的Adaptive Mixtures of Local Experts。将多个专家网络与门控网络一起训练,最初的动机是减少任务间的干扰。1994年,Jordan & Jacobs将其扩展为分层MoE。

  • 2013年 Bengio等人提出条件计算和通过随机神经元的梯度估计(STE)。Eigen、Ranzato、Sutskever早期在深层网络中尝试MoE。

  • 2017年 Shazeer等人的Outrageously Large Neural Networks(共同作者包括Hinton和Dean)。在LSTM层之间插入最大137B参数的稀疏门控MoE层,实现了"以计算效率的微小损失换取超过1000倍的模型容量改善"。需要注意的是,原文为"greater than 1000x",137B指的是MoE层的参数数量。

  • 2020〜2022年 GShaard将MoE引入Transformer并扩展到600B以上,Switch Transformer (Fedus, Zoph & Shazeer 2021)通过top-1路由达到1万亿参数。GLaM和ST-MoE应对稳定性问题(路由器z损失),Expert Choice (2022)反转方式让专家选择令牌,自然地实现了负载均衡。

这一节用一句话来说:从1991年到2022年,条件计算的思想没有改变。改变的是硬件,以及硬件终于达到了足以支持它的规模。

MoE从论文到产品:2017〜2022年解决的工程问题

Shazeer等人(2017)展示了容量可以扩展1000倍,但要使MoE成为可靠的产品,还需要5年时间和4个具体问题的解决。

如何学习路由。门控输出s = Softmax(W_g·h),选择top-k个专家,层的输出为y = h + Σ_{i∈T} s_i·FFN_i(h)。问题在于top-k是离散选择,因此关于s的导数几乎处处为零。梯度只到达被选中的专家的门控权重,未被选中的专家永远得不到学习机会。Shazeer的解决方案是Noisy Top-k门控,在logits中加入可学习的高斯噪声,使本应排在第k+1位的专家有时被选中。更通用的解决方案是Bengio等人(2013)的直通估计器(STE)和后来的Gumbel-Softmax。

如何均衡负载。路由器存在"富者恒富"的趋势。流行的专家越来越被选中,被选中越多学习越好,越容易被选中,最终少数几个专家垄断所有流量,模型实质上退化为一个小得多的模型(专家崩溃)。GShard和Switch Transformer引入了辅助负载均衡损失 L_bal = α·N·Σ f_i·P_i。f_i是分配给专家i的令牌比例,P_i是其平均门控概率。ST-MoE (2022)进一步通过路由器z损失抑制logits爆炸。这些辅助损失确实有效,但会扰乱原始语言建模目标函数的梯度。2024年,DeepSeek-V3通过"梯度外偏差"规避了这个权衡(见"现在"章节)。

如何设置容量。在分布式学习中,必须提前固定每个专家的缓冲区大小,容量因子由此产生。每个专家的容量 = capacity_factor × (令牌数 / N)。超过容量的令牌被丢弃(令牌丢弃),只通过残差连接。容量因子过大浪费内存,过小降低质量。MegaBlocks (2023)使用块稀疏矩阵乘法构建"无丢弃"MoE,跳出了这个困境。

如何度过通信难关。专家放在不同的GPU上(专家并行),每个MoE层需要2次数据依赖的全交换。令牌被发送到专家所在的GPU,然后回收结果。这是MoE训练中的主要通信瓶颈,也是为什么MoE更适合大规模集中部署。从DeepSpeed-MoE和Tutel到DeepSeek的DeepEP,所有这些系统都在优化这条路径。

里程碑:GShard (2020)将MoE引入Transformer,扩展到600B以上。Switch Transformer (2021)以top-1路由达到1万亿参数,预训练速度是T5-XXL的4倍。GLaM (2021)总参数1.2T、活跃参数约97B,能耗约为GPT-3的三分之一。Expert Choice (2022)反向操作,让专家选择令牌以自然均衡负载。

为什么2022年之前的MoE还不是主流

即便这些工程解决方案已经完备,2022年的MoE仍然是Google内部的"大公司玩物"。有三个原因。第一,成本压力还不够强。在GPT-3时代,密集模型仍在快速进步,推理成本不是主要约束。第二,没有开放生态。不存在高质量的开源MoE,社区无法复现或改进。第三,微调很困难。在小数据集上路由容易崩溃,下游任务的适应不如密集模型顺利。

这3个条件在2023年底同时改变了。Mixtral 8x7B (2023年12月)成为第一个高质量开源MoE,ChatGPT规模的流量让推理成本成为最迫切的问题,DeepSeekMoE (2024年1月)用细粒度专家和共享专家将MoE的成本效率推向新高度。"现在"从这里开始。

总结

本章的3条系谱——剪枝、激活稀疏性、条件计算——在2022年之前走上了完全不同的道路。剪枝在理论上成功,在硬件上失败。激活稀疏性(ReLU)到处使用,却几乎到处都没有被有效利用。条件计算准备充分,只缺少经济压力。理解这种命运差异,就能解释为什么2023年后的赢家是MoE而非权重剪枝。稀疏性能否实用化取决于其零值是否具有硬件能够利用的结构。

现在(2023年〜2026年9月):为什么LLM全面押注稀疏性

到2026年,最先进开源模型的每令牌激活率将下降到1.5%〜4.5%,稀疏性将从FFN扩展到注意力、KV缓存,甚至知识存储本身。本章首先阐述4种压力,然后逐一清点5种稀疏性,最后转向统一理论和经济学讨论。

大規模モデルの中でスパース性が働く場所
图5. 大规模模型中稀疏性发挥作用的位置(讲解视频系列截图)。(1)知识计算:FFN被替换为MoE(条件计算)。(2)重读前文单词:注意力只计算查询–键对的一部分(稀疏注意力)。(3)为了重读而保留的记录:压缩KV缓存(低秩)或丢弃(稀疏)。第四个位置——权重本身——在LLM时代大部分职责已被量化接管。本章按(1)→(2)→(3)的顺序展开。

为什么是现在:4种压力

  • 规模扩展撞上成本之墙。总参数已达到1〜3T范围(DeepSeek-V4-Pro为1.6T,Kimi K3为2.8T),密集模型的训练和推理在经济上不再可行。

  • 推理成本超越了训练成本。在2025年3月1日的推理系统概览中,DeepSeek披露通过跨节点的大规模专家并行来增大批次、提高GEMM效率。这表明推理的经济性已成为架构设计中最单一、最重要的约束。

  • 代理将工作负载变为"输入中心"。V4.1技术报告的开篇指出,随着长时间运行代理的普及,工作负载越来越由输入主导,巨大的KV缓存持续压迫HBM和SSD的容量及传输带宽。

  • 出口管制下的工程创新。DeepSeek-V3用2,048块H800训练,总共约278.8万GPU小时。H800是与H100相同的芯片,但NVLink带宽从900 GB/s削减到400 GB/s,这直接催生了DeepEP等通信优化。

条件计算:MoE成为默认架构

MoEの直観
图6. MoE的直观解释(讲解视频系列截图)。对于每个单词,路由器(调度员)选择少数几个专家(此处从16个中选2个),未被选中的专家按块跳过。就像医院前台将患者引导到相关科室一样,模型保留完整知识库,但每个令牌只使用参数的一小部分。DeepSeek-V3从256个中选8个,另外还用1个共享专家。

DeepSeek 系列的演进(全部来自官方技术报告、模型卡和 API 公告):

模型时期总参数 / 每令牌激活专家配置主要稀疏化技术
DeepSeekMoE2024-01—细粒度专家+共享专家将专家细分,以指数方式增加组合数量
V22024-05236B / 21B共享 2 + 路由 160MLA:KV 的低秩同时压缩(低秩而非稀疏)
V32024-12671B / 37B共享 1 + 路由 256,8 选择无辅助损失的负载均衡、多令牌预测、FP8 训练
V3.22025-09/12671B / 37B同上DSA:Lightning Indexer + 令牌级 top-k(k=2048)稀疏注意力
V4-Flash / V4-Pro2026-04-24284B/13B、1.6T/49B共享 1 + 路由 256,6 选择/路由 384压缩稀疏注意力(CSA)和 HCA 交替配置、1M 上下文、FP4 专家
V4.1-Flash2026-09-10骨干 552B + Engram 196B,预填充 8B / 解码 16B共享 1 + 路由 384,6 选择CED、CSA2、Hierarchical Sparse Indexer、FP4 KV、Engram

V4.1-Flash 的五个设计要素(技术报告):

  • CED(因果编码器-解码器)。40 层分为 20 层编码器和 20 层解码器,解码器的全局 KV 从编码器的最终隐藏状态投影而来。输入令牌仅通过编码器(激活 8B),输出令牌通过解码器(16B)。这是对"代理读很多,写很少"这一事实的直接回应。

  • CSA2 的三种模式。Full 生成自己的全局 KV 并构建索引。Reindex 重用前一层的 KV 同时重新计算 top-k。Reuse 直接重用 top-k 索引。大多数层是 Reuse。也就是说,大多数层"不重新选择令牌"。

  • 层级稀疏索引器。解码器的第一个 Full 层创建候选池,之后的层仅从中选择。深层的索引计算成本与上下文长度分离。

  • KV 的数字。全局 KV 每令牌 890 字节,约为 V4-Flash 的 1/4、V1 的 1/437。永久化的 KV 约为 V4-Flash 的 1/8。即使将上下文从 4K 扩展到 1M(256 倍),每令牌解码浮点运算也仅增加约 1/4。稀疏注意力从 64K 开始训练,不进行密集注意力预热。

  • Engram 条件化内存。约 196B 参数的 N-gram 哈希表,通过每个令牌的查找稀疏访问,可放在主机内存中并预取。并非每个令牌都被激活。

DeepSeek-V4.1-Flashの全体アーキテクチャ
图 7. DeepSeek-V4.1-Flash 的整体架构(技术报告图 3)。左侧是 20 层因果编码器,前 2 层使用滑动窗口注意力(SWA),其余使用 CSA2(带压缩率和模式)。右侧是 20 层解码器,其全局 KV 从编码器的最终隐藏状态投影。所有 FFN 都是 DeepSeekMoE。黄色的 Reuse 块明显多于绿色的 Full 块。大多数层不重新选择令牌,而是重用前一层的索引。层级稀疏索引器首先创建候选池,之后的层仅从中选择。Engram 条件化内存和 DSpark 投机解码分别附加在编码器下部和解码器上部。来源:DeepSeek 技术报告(arXiv:2609.19969)。
DeepSeek各世代のトークンあたりグローバルKVキャッシュ
图 8. DeepSeek 各代的每令牌全局 KV 缓存(对数刻度)。从 V1 的约 389 KB 到 V4.1-Flash 的 890 字节,3 年降低 437 倍。这条曲线是稀疏性从"计算节省"演进到"内存和带宽节省"的最直接证据。

性能与定价。DeepSeek 表示 V4.1-Flash-Base 在总参数 1/3、激活参数 1/4 的情况下达到了 V4-Pro-Base 的水准。峰值价格为输入 $0.30/M、缓存输入 $0.006/M、输出 $1.20/M,非峰值半价。但在第三方综合指标中(Artificial Analysis 40 分,Claude Opus 5 为 51 分),独立评估仍相差约 10 分。供应商选择的基准与独立综合评价必须分开陈述。这本身就是"平均值会欺骗人"的生动教训。

V4.1-Flashと他モデルの比較
图 9. V4.1-Flash 与 Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Pro 的对比(技术报告表 3,供应商报告值,最大推理努力)。在代理任务如 Terminal-Bench 2.1、DeepSWE、HLE w/ tools、Automation-Bench 上性能相当或更优,但需要长时间执行的 Terminal-Bench 4.0 上约落后 Opus 5 20 分。V4.1 的激活仅每令牌 8~16B。这张图的含义是"以远少的激活参数接近前沿",而非"全面超越"。

2025~2026 年的其他主要 MoE 模型(来自官方模型卡):

模型时期总计 / 激活专家(选择 / 总数)激活率其他设计特征
Mixtral 8x7B2023-1246.7B / 12.9B2/8约 28%首个高质量开源 MoE
gpt-oss-120b2025-08116.8B / 5.1B4/1284.4%MoE 权重采用 MXFP4,滑动窗口和全注意力交替配置,注意力池
Qwen3-235B-A22B2025-04235B / 22B8/1289.4%—
Qwen3.5-397B-A17B2026-02397B / 17B10+1 / 5124.3%Gated DeltaNet 线性注意力按 3:1 混合,KV 削减约 1/4
Kimi K2 / K2.52025-07 / 2026-011.04T / 32B8+1 / 3843.1%MuonClip,15.5T 令牌无损失尖峰
Kimi K32026-072.8T / 104B16 / 896,共享 23.7%KDA 线性注意力 + Gated MLA,MXFP4 QAT
Llama 4 Maverick2025-04约 400B / 17B1+共享 1 / 1284.3%密集层和 MoE 层交替配置
DeepSeek-V4.1-Flash2026-09552B / 8–16B6+1 / 3841.4%–2.9%前述情况

趋势如下。两年内,该领域从"8 个专家选 2 个,激活 25%"演进到"数百至近 1,000 个中选 6~16 个,激活 1.5%~4.5%",稀疏程度大约每 1~1.5 年提升一个数量级。共享专家成为标准配置,路由采用无辅助损失偏置、哈希路由(V4 前 3 层)、隐空间路由(K3)。在闭源模型中,Google 已正式承认 Gemini 1.5 和 Gemini 2.5 系列采用稀疏 MoE。GPT-4 的"1.8T MoE"仅是 2023 年的传言,GPT-5.x 和 Claude 的构成未公开。即使写也只能说"据报道"。

活性化パラメータの総パラメータ比の推移
图 10. 公开配置的旗舰模型中,每令牌激活参数与总参数的比例。从 Mixtral(2023-12)的 27.6% 到 V4.1-Flash 预填充阶段的 1.4%,两年下降约 20 倍。闭源模型因配置未公开而未包含。

注意力和 KV 缓存的稀疏化

KV 缓存大小 = 2 × L × 层数 × KV 头数 × 头维度 × 每元素字节数。代入 64 层、8 个 KV 头、头维度 128、FP16、128K 上下文,得约 31 GiB。超过许多模型的权重,且每生成一个令牌都必须重读整个值。有三种对策:减少 KV 头数(GQA/MQA)、低秩压缩(MLA),以及稀疏驱逐或稀疏计算。

例のモデルのKVキャッシュサイズ
图 11. 示例模型的 KV 缓存大小(讲解视频系列帧)。每令牌约 256 KB:1,000 令牌时 250 MB,32,000 时 7.8 GB,128,000 时约 31 GB。这超过 7B 模型权重的 2 倍,相当于智能手机照片约 1 万张。
ノートを薄くする4つの方法
图 12. 让笔记本变薄的四种方法(讲解视频系列帧)。数人共用一本笔记本(GQA,1/8)。写更短的总结(MLA,DeepSeek-V2 约削减 93% — 低秩而非稀疏)。丢弃不需要的页面(驱逐=稀疏)。用更小的字写(4 位量化,1/4)。这些方法可以组合。

稀疏注意力有三代,可以叠加。第一代是固定模式(Longformer、BigBird、gpt-oss 的滑动窗口)。第二代是推理时无需重训的动态驱逐(StreamingLLM、H2O、SnapKV、Quest)。第三代从训练时起原生学习稀疏性(NSA、MoBA、DSA、CSA2)。NSA(Yuan 等、DeepSeek × 北京大学 × 华盛顿大学)荣获ACL 2025 最佳论文奖,在长度 64K 处实现与全注意力相当的性能,解码加速 11.6 倍,前向传播 9.0 倍,反向传播 6.0 倍。

Native Sparse Attention (NSA)の概要
图 13. 第三代设计原生稀疏注意力(NSA)概览。对于每个查询,先前的键和值通过三个并行分支。粗粒度上下文的压缩注意力、最重要令牌块的选择注意力、局部上下文的滑动注意力。学习的门融合三个输出。右侧,绿色单元是必须计算的注意力分数,白色单元是可跳过的。来源:Yuan et al., "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention," ACL 2025 Best Paper (arXiv:2502.11089), Figure 2。© 原著者。为讲解目的转载。
単語間の読み返しとして見た3つのスキップ方式
图 14. 作为单词间"回顾"的三种跳过方法(讲解视频系列帧,32 字示例)。(1)仅前一个单词(滑动窗口)。(2)仅重要单词(StreamingLLM/H2O)。(3)轻量索引选择相关块(NSA/DSA)。在长文档中,实际计算的比例远小于这个小例子。
文書の長さと読み返し回数
图15. 文档长度与重读次数(从公式计算。讲解视频系列的截帧)。全注意力以二次函数形式增长,在128K令牌处达到每层每头约82亿次。仅查看前2,048个令牌则约2.6亿次(约为1/32)。DeepSeek的方式是用轻量级"索引器"对先前上下文评分,仅重读前2,048个令牌。这就像回答关于500页书籍的问题时,不是每次都从头开始阅读,而是先查看目录再作答。

大规模测量中的冷水。Nawrot et al.的The Sparse Frontier(arXiv:2504.17768,正式刊载于《计算语言学协会2026年论文集》)在Qwen2.5的7B~72B、16K~128K和9个任务上评估了无需训练的稀疏注意力,得出了4个结论。在极长序列上,"大且稀疏"优于"小且密集",交叉点在32~64K附近。预填充的最优稀疏率为0.80~0.93(预算为1/5~1/15),解码阶段的容差更高。几乎所有配置在至少一个任务上都遭受严重性能下降。稀疏注意力并非万能之策。而且不存在在所有任务和阶段都最优的单一策略。正是这个结果催生了第三代"原生可训练稀疏性"。

激活稀疏性

Q-Sparse (Wang, Ma, Wang & Wei, arXiv:2407.10969)直接对所有线性层的激活应用top-k,用STE进行反向传播,并展示了稀疏性的缩放规律。最优稀疏率在全精度模型中约为45.58%,在1.58比特模型中约为61.25%,在约40%的稀疏率下可匹敌同等规模的密集模型。Mistral 7B在40B令牌上进行附加训练时,Q-Sparse在3.8B激活下达到63.7,接近密集基线(7.0B)的64.6。消融实验表明,去除STE或用ReLU替代top-k都会导致明显的性能下降。而且ReLU的稀疏率会随训练进行而下降,而top-k保持不变。这支持了"稀疏性应该是架构约束而非正则化项"的主张。TEAL、ReLU Strikes Back、Deja Vu和PowerInfer是边缘侧的主要传承。

可解释性中的稀疏性:SAE的兴盛与疑虑

Anthropic的发展轨迹如下:Towards Monosemanticity(2023)使用稀疏自编码器从单层模型中提取单义特征。Scaling Monosemanticity(2024)在Claude 3 Sonnet上训练了最多包含3,400万个特征的SAE,并在Golden Gate Claude上演示了特征钳制。Circuit Tracing和On the Biology of a Large Language Model(2025)使用跨层转录器构建了归因图,追踪了Claude 3.5 Haiku的多步推理。在OpenAI,Gao等人(2024)在GPT-4上训练了包含1,600万个特征的TopK SAE。这个谱系是Olshausen–Field字典学习的直系后代。

疑虑集中在2024~2025年出现。特征吸收(Chanin et al. 2024)。一维非线性特征(Engels et al. 2024)。在113个探针数据集上无法击败逻辑回归基线(Kantamneni et al. 2025)。不同的SAE发现不同的特征(Leask et al. 2025)。2025年3月,Google DeepMind的机械可解释性团队宣布,该领域对SAE投资过度,将"暂时降低SAE基础研究的优先级"。相对温和的共识是,SAE适合发现未知概念,但不适合作为已知概念的检测器或控制器。2026年仍有SharedSAE和WriteSAE等新研究问世,但尚未形成新的统一共识。

统一理论:三个算子和top-k的学习

无论是LASSO、剪枝、SAE还是MoE路由,"产生零"的步骤都属于三个算子之一。

Sλ(y) = sign(y) · max(|y| − λ, 0), Hτ(y) = y · 1[|y| > τ], Pk(y) = 仅保留绝对值最大的前k个分量的投影

软阈值处理是L1的近似算子(LASSO、ISTA、小波降噪、L1惩罚的SAE)。硬阈值处理对应L0(幅度剪枝、JumpReLU SAE)。而top-k是k稀疏向量集合的投影(MoE路由、稀疏注意力、TopK SAE、Q-Sparse)。ReLU本身是τ=0的单侧硬阈值。当代大规模模型几乎全部使用第三种,因为它能将每令牌计算量精确固定为常数k,从而支持静态内存规划和专用内核。在大规模模型时代,稀疏性已从"正则化项"演变为"架构约束"。

ゼロを作る3つの演算子
图16. 产生零的三个算子及其用途。软阈值处理(L1的近似算子:LASSO、小波降噪、SAE)、硬阈值处理(L0:幅度剪枝、JumpReLU)、top-k投影(到L0球的投影:MoE路由、稀疏注意力、TopK SAE)。几乎所有大规模模型都使用第三种,因为它能将每令牌计算量精确固定为常数k。

top-k不可微分。由于∂TopK/∂s几乎处处为零,梯度只能到达选中的专家的门控权重,其余的无法学习。工程上有4种应对方法。仅对选中的专家反向传播,加入辅助负载均衡损失(主流做法)。用Noisy Top-k添加噪声以产生探索(Shazeer 2017)。STE、Gumbel-Softmax、Soft MoE等连续松弛。以及DeepSeek-V3之后的无辅助损失偏差,即用s+b排序而用s加权,b根据负载在梯度外调整的方法。在稀疏注意力侧,NSA在块级选择以让梯度流动,DSA则先用密集注意力预热,将索引器与密集注意力分布对齐,再切换到稀疏学习。

关于缩放规律,Clark et al.(2022)统一了路由模型的缩放,推荐64~128个专家。Krajewski et al.(2024)表明细粒度专家在任何计算预算下都优于密集模型。Frantar et al.(2023)发现最优权重稀疏率随数据量增加而上升。DeepSeek的Engram论文(arXiv:2601.07372,2026年1月)提出了"稀疏性预算分配"问题,发现了U形规律。纯MoE并非最优,当将稀疏参数预算的约20~25%分配给条件内存时效果最佳。九个月后,这一发现被纳入了V4.1产品。

经济与产业

  • DeepSeek冲击。2025年1月27日,英伟达股价下跌约17%收盘,市值蒸发约5,890亿美元(彭博社)~5,930亿美元(路透社)。这是美国股市历史上单日市值损失最大的一次。

  • 理论上545%的利润率。2025年3月1日,DeepSeek公开表示,将H800的1小时成本设为2美元,则日均成本为87,072美元,假设所有内容都按R1价格计费的理论日收入为562,027美元。实际收入远低于此,研究开发费和训练成本也未包含。引用这个数字时必须加上"理论上"的说明。

  • 推理价格。Epoch AI(2025年3月)指出,相同能力水平的推理价格正以年率9倍到900倍的速度下降,速度因任务而异。然而企业总支付额仍在持续增加,因为代理会将每任务调用次数增加数倍。

  • MoE推理的经济学。内存由总参数量决定,只有在大批处理和专家并行的情况下,每个专家才能获得足够的令牌。MoE本质上适合大规模集中式服务,不适合小规模自托管。vLLM和SGLang从上线当日起就支持了MLA、DSA和V4.1。

各研究机构方法的系统比较

按相同标准对各研究机构排列,稀疏化的道路并非唯一,多种策略正在并行竞争。

研究机构配置披露主要稀疏性类型专家(选定/总数)注意力策略KV策略权重格式代表模型显著特征
DeepSeek附技术报告发布MoE+稀疏注意力+条件内存6/384+共享1原生稀疏(DSA→CSA2)、从头开始稀疏训练MLA低秩+FP4+跨层复用,890 B/令牌FP4/FP8专家V3, V3.2, V4, V4.1-Flash三轴稀疏性分层。代理用的编码器-解码器分工
Moonshot (Kimi)权重和报告公开MoE+线性注意力混合16/896+共享2块稀疏MoBA。K3采用KDA线性注意力+Gated MLA线性层无KVMXFP4 QATK2, K2.5, K3最大专家数量。通过MuonClip实现稳定训练
Alibaba (Qwen)模型卡公开MoE+线性注意力混合10/512+共享1Gated DeltaNet和Gated Attention以3:1比例KV削减约1/4BF16/FP8Qwen3, Qwen3.5从边缘到旗舰的完整产品线
Meta模型卡公开MoE1/128+共享1(Maverick)密集层与MoE层交替排列。iRoPE标准GQABF16Llama 41,000万上下文(Scout)。Behemoth尚未发布
OpenAI仅gpt-oss公开MoE4/128滑动窗口(128)与全注意力交替排列。注意力池GQA、8头MXFP4gpt-oss-120b/20bGPT-5.x非公开。SAE研究(Gao 2024)
GoogleGemini 1.5 和 2.5 是 MoE 已官方确认。详细信息不公开MoE。边缘设备采用弹性架构不公开不公开不公开不公开Gemini 1.5/2.5, Gemma 3nMatFormer 的嵌套子模型、PLE
Anthropic不公开用于可解释性的稀疏性 (SAE、转码器)不公开不公开不公开不公开Claude 系列将稀疏性用作"理解模型"的工具
Mistral公开权重MoE2/8标准GQABF16Mixtral 8x7B/8x22B首个高质量开源 MoE (2023年12月)
Microsoft Research公开论文激活稀疏性 + 1.58 比特—标准标准1.58 比特 (BitNet)Q-Sparse, BitNet b1.58稀疏性与极端低比特量化的结合
Meituan / Ant / Zhipu公开模型卡MoE 的变体多种多种多种多种LongCat-Flash, Ling, GLM-4.5/4.6零计算专家、快捷连接 MoE

由此可以得出三个观察。首先,稀疏架构创新的主要源泉是中国的开源模型阵营。细粒度专家、共享专家、无辅助损失的负载均衡、原生稀疏注意力、条件内存、线性注意力混合几乎都是由 DeepSeek、Qwen 和 Kimi 首先发表的。其次,大型闭源研究机构的架构是黑箱,只能从 gpt-oss 或 Gemini 报告等公开信息推测。将"GPT-4 是 1.8T 的 MoE"作为事实引用是常见的错误。第三,注意力机制分为两个方向。DeepSeek 选择了"稀疏注意力"(仅计算部分令牌对),而 Qwen 和 Kimi 选择了"线性注意力混合"(用递归状态替换 KV 缓存)。两者都在攻击 KV 缓存的内存和带宽同一个问题,但使用的数学工具不同。前者是稀疏的,后者接近低秩递归。

系统栈:稀疏性的工程实现

稀疏架构的收益是否能真正实现,取决于一个经常被忽视的层,即系统软件。

  • 专家并行与通信。DeepEP (DeepSeek 于 2025 年公开) 提供支持 FP8 和 NVSHNEM 上 RDMA 的高吞吐、低延迟的 all-to-all 内核,实现计算与通信的重叠。MegaBlocks (2023) 将 MoE 计算改写为块稀疏 GEMM,实现了无损 MoE,相比密集的 Megatron-LM 速度提升 2.4 倍。

  • 注意力内核。FlashMLA 针对 MLA 进行优化。DSA 和 CSA2 需要索引器和稀疏注意力内核配套,DeepSeek 通过 FlashMLA 和 DeepGEMM 进行了公开。V4.1 的 CSA2 三模式意味着推理引擎必须管理 KV 和索引的层间复用。

  • 推理框架。vLLM 和 SGLang 从发布当日起就支持 MLA、DSA、V4.1-Flash,覆盖 H100/H200/B200/GB200 和 AMD MI355X。NVIDIA NeMo AutoModel 为 V4.1 的微调提供了配方,需要单个 NVLink 域内 64 个 GPU。

  • 分层存储。V4.1 的 Engram 表 (约 183 GiB) 设计为放在主机内存中,通过 RDMA 预取。已有论文将 Engram 保持在 CXL 内存池中,将"知识"从 HBM 迁移到更便宜的层。SWA Bounded Replay 避免了滑动窗口 KV 到 SSD 的持久化。

  • 量化格式。MXFP4 (每 32 个元素一个 8 比特的共享尺度,平均 4.25 比特) 在 2025-2026 年成为 MoE 专家权重的事实标准。Blackwell 原生支持 FP4 张量核心。

本节的结论与"神经网络时代"相呼应。稀疏性的胜利总是伴随着相应的内核和调度。2:4 稀疏性没有普及是因为即使有张量核心,也缺乏成熟的端到端软件栈。MoE 成为主流是因为有 DeepEP、MegaBlocks 和 vLLM。

稀疏性与深度学习的相遇:图像和信号处理的最近进展

大规模模型为了节省计算而使用稀疏性,而图像和信号处理走了另一条路。它将稀疏先验与深度网络结合,从不完全且含噪的测量中恢复信号。这些成果反向流动,改变了人们理解大规模模型的方式和架构设计的形式。

Deep Image Prior
图 17. Deep Image Prior。将随机初始化的未训练卷积网络拟合到退化的单张图像上,仅通过早停,就能进行 JPEG 伪影去除、缺失区域补全、超分辨率和去噪。完全不使用学习数据。仅网络结构本身作为先验。出处:Ulyanov, Vedaldi & Lempitsky, "Deep Image Prior," CVPR 2018 (arXiv:1711.10925)。作者项目存储库中的预告图 (Apache 2.0)。

算法展开:将迭代稀疏求解器转化为网络

起点是 Gregor 和 LeCun (2010) 的 LISTA。将固定的 ISTA 迭代"展开"为具有有限层数的网络,使其参数可学习。每一层仍然是"线性变换 + 软阈值处理",但矩阵和阈值是从数据中学习的。结果比手动调整的 ISTA 收敛速度快 1-2 个数量级,并保持可解释的结构。因为每一层对应邻近梯度法的一个步骤。算法展开随后成为计算成像的主流框架。ADMM-Net 和 ISTA-Net 用于压缩感知 MRI 重建,展开的网络在临床欠采样数据上超越了经典 CS 方法。展开的更深层含义是表明深度网络可以理解为稀疏求解器的可学习版本。这一洞察后来为用稀疏字典解读神经网络提供了直观性。

即插即用先验与去噪正则化

经典正则化 (L1、全变分) 将先验写成显式惩罚项。2013 年之后出现的即插即用 (PnP) 框架发现,ADMM 或邻近梯度法中"应用邻近算子"的步骤可以被任意去噪器,即训练好的深度去噪网络替换。先验从"一个公式"变成"黑箱去噪器",稀疏先验成为其特例之一。去噪正则化 (RED) 和随后的扩散模型先验继承了这一谱系。在这种观点下,软阈值处理去噪、BM3D、深度去噪器是三代可互换的组件。

Deep Image Prior:网络结构本身就是先验

Ulyanov、Vedaldi 和 Lempitsky (2018) 的 Deep Image Prior 得到了违反直觉的结果。仅将随机初始化的未训练卷积网络拟合到退化的单张图像上,就能进行去噪、超分辨率和补全。卷积网络的结构倾向于自然图像在低频处的自相似统计,对噪声的拟合较慢,因此早停会得到干净的图像。这直接与"前史"中讨论的自然图像统计相关。网络结构隐含地编码了"自然图像在某个基下是稀疏的"这一先验,唯一的区别是该基不再显式写出。DIP 之后,"结构即先验"成为理解神经网络归纳偏置的重要透镜和连接古典稀疏理论的桥梁。可以将 DIP 看作通过隐式且可学习的"框"来适应性地进行同样操作的方法,即仅保留真正表示信号结构的分量的方法。

学习的字典与结构化框

固定小波、K-SVD 学习的非结构化字典和深度网络学习的隐式先验之间,存在中间道路。在保持紧框和酉变换的数学结构 (完美重构、能量守恒) 的同时,从数据中学习其参数的道路。非分离定向对称重叠变换 (NSOLT) 和格子结构酉网络 (LSUN) 属于这一类别。通过将变换限制在紧框流形上,用格子结构参数化,在保持经典变换的可解释性和可逆性的同时,获得对特定数据的适应性。这条路的价值在大规模模型时代被重新发现。SAE 需要过完备字典,MLA 需要可逆的低秩投影。两者都在寻求结构约束与数据适应的平衡,这正是结构化框一直以来面对的设计问题。

与大规模模型的三个接点

首先,SAE 就是稀疏编码本身。Anthropic 的稀疏自编码器在数学上与 Olshausen-Field 字典学习相同,改变的仅是数据。从图像补丁到残差流的激活。其次,算法展开预示了"网络 = 求解器"的读法。Anthropic 的转码器和归因图本质上是对 Transformer 稀疏且易读的替代计算图的探索。第三,结构先验的想法进入了架构设计。MoE 的专家块、CSA2 的层间复用、Engram 的查找表都将"数据应该具有这种结构"的信念写入了网络的形式本身,而不是损失函数。这是"统一理论"一节结论在图像处理世界中的对应物。稀疏性从正则化项迁移到了架构约束。

应用:稀疏性真正产生价值的地方

稀疏性在需要处理的内容庞大而真正重要的内容极少的地方产生价值。长文档审查是这最典型的例子之一。

MMLongBench-Doc
图18. 长文档理解水平的基准测试MMLongBench-Doc。(a)针对长PDF(平均47.5页)的单页问题、跨页问题,以及特意设计的无法回答的问题。(b)该文档远长于传统文档QA基准测试。(c)即使是前沿的视觉语言模型,其F1值也低于45,其中一些甚至还不如向文本专用模型提供OCR文本的效果。来源:Ma et al., "MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations," NeurIPS 2024 Datasets & Benchmarks (arXiv:2407.01523), Figure 1。来自作者存储库。© 原作者。转载供解释之用。
  • 云中的LLM推理。2026年低价前沿API几乎全部来自高度稀疏的MoE模型。DeepSeek-V4.1-Flash的非峰值输出价格为$0.60/M,gpt-oss-120b在OpenRouter上的输入价格约为$0.03/M、输出价格约为$0.17/M。

  • 长上下文与代理。在V4.1发布时,DeepSeek明确指出,代理成本中大部分通常由缓存命中计费构成,通过缓存压缩可大幅削减这部分。缓存输入价格($0.006/M)是缓存未命中价格($0.30/M)的1/50,这是代理经济性的核心杠杆。

  • 边缘。Apple的LLM in a Flash (2023)从闪存中按需加载稀疏激活的参数。Gemma 3n使用MatFormer的嵌套子模型和逐层嵌入(PLE)。像Qwen3.5-35B-A3B这样激活3B的MoE模型正逐渐成为浏览器和边缘设备的候选方案。

  • 多模态。V4.1为图像令牌提供了专用的路由偏差。由于视觉令牌数量众多且冗余度高,它们是稀疏注意的理想目标。

  • 科学与医疗。CS-MRI将日常临床的平均扫描时间缩短约20%,单一序列缩短23%-43%。支撑EHT黑洞成像的SMILI管道建立在稀疏建模基础之上。

长文档与图纸的企业审查(与我们的业务直接相关)

难度基准测试。MMLongBench-Doc (NeurIPS 2024 D&B)收集了135份平均47.5页、约21,000个文本令牌的PDF,包含1,082个由专家撰写的问题。其中33.2%需要跨页证据,22.8%特意设计为无法回答以检测幻觉。人类标注者的F1值为66.0%,14个视觉语言模型中的12个性能低于向对应文本专用模型提供OCR文本的结果。LongDocURL的396份文档平均86页,其中52.9%的问题需要跨页。这些文档的长度和跨页及跨元素问题的比例,与建筑许可申请(从数十页到远超100页的图纸、结构计算书、申请文件)的情况极其相似。

瓶颈不仅仅是上下文长度。问题在于从散散落落的证据中选择正确的top-K。检索(选择top-K页面)和稀疏注意(选择top-K令牌块)在数学上是同一个运算符。差别在于这种选择是在模型外发生(可审计、可引用法条)还是内部发生(端到端但不透明)。

局限性。Sparse Frontier表明,即使稀疏率中等,稀疏注意也可能降低单个任务的性能。在审查工作中"X条与第37页记载的尺寸不符"正是"一个遗漏就会导致整个答案错误"的任务。因此,混合搜索和长上下文重新验证的方案比单一选择更安全。包括SimpleDoc、MDocAgent、LAD-RAG在内的2025年多页文档研究也采取了这条路线。

益处与成本

关于权重稀疏性,"在LLM时代,稀疏性被高估"大体上是正确的。对于条件计算和注意稀疏性则相反,两者已经是前沿的既定事实。将这两者区分开来思考,是理解整个讨论的关键。

DeepSeekの推論システムのコストと理論収入
图19. "545%"这一数字的一手资料:DeepSeek自身给出的V3和R1 24小时成本与理论收入(2025年3月1日)。日均成本约87,072美元(H800按每GPU时间2美元租赁),假设所有令牌按R1 API价格计费的理论收入为562,027美元。DeepSeek自己注明了网络和应用使用免费、非峰值API价格打折的情况下,实际收入要低得多。来源:DeepSeek, "DeepSeek-V3/R1 Inference System Overview," open-infra-index存储库, Open Source Week day 6 (CC0 1.0)。

益处

  • 成本:激活率已降至1.5%-4.5%,价格曲线正迅速下降。

  • 容量与计算的分离:总参数决定知识容量,激活参数决定每令牌成本,两者可独立扩展。Engram更进一步,将静态知识转移到廉价的主机内存。

  • 长上下文的实用化:V4.1从4K到1M的解码FLOPs仅增加约四分之一。

  • 可解释性的工具:SAE和转码器用于发现未知概念。

成本与风险

  • 内存由总参数决定:V4.1的路由专家(MXFP4)占用约259.5 GiB,Engram表占用约183 GiB。稀疏性不能节省存储。

  • 通信开销:专家并行的all-to-all是MoE学习的主要瓶颈,Engram需要通过RDMA或CXL进行预取。

  • 学习不稳定性和负载偏斜:需要一系列补丁,包括z-loss、偏差调整、哈希路由等。

  • 微调困难:在小数据集上路由容易崩溃。V4.1的官方微调程序需要单个NVLink域内64个GPU。

  • 评估陷阱:Sparse Frontier发现"几乎所有配置在至少一个任务上都会性能下降"。V4.1在厂商基准测试中与前沿并驾齐驱,但在独立综合指标上约差10个百分点。

  • SAE的局限性:参见"可解释性中的稀疏性"章节。

  • 权重稀疏性仍效率不足:传统方法未能突破50%-60%稀疏性的壁垒。

代表性观点(引自来源)

立场来源观点
支持:赢家由硬件决定Hooker 2021观点取胜不是因为"它们更优越,而是因为它们适应了可得到的软硬件"
支持:稀疏性的新维度DeepSeek, Engram 2026"我相信条件内存将成为下一代稀疏模型不可缺少的建模原语"
谨慎Nawrot et al. 2026"稀疏注意不是银弹"
否定Google DeepMind 2025"我不认为SAE会成为可解释性的游戏改变者,怀疑该领域在SAE上投资过度"
中立arXiv:2506.23845SAE在处理已知概念方面较弱,但在发现未知概念方面是强大的工具

五种稀疏性各自的裁定(2026年9月)

"稀疏性被过度评估了吗?"这个问题没有单一答案。需要逐类回答。

稀疏性的类型2026年的状况裁定主要理由
权重稀疏性(非结构化剪枝)研究活跃,产业采用甚少在LLM时代被过度评估。量化胜出50%-60%稀疏性壁垒。缺乏高效GPU核心。MXFP4成为事实标准
结构化稀疏性(2:4、块)有硬件支持但端到端加速有限部分实现。块稀疏以MoE形式胜出2:4实测很少达到2倍。MegaBlocks块稀疏GEMM成为MoE基础
激活稀疏性(ReLU、top-k激活)在边缘和研究中获关注。云端被MoE吸收潜力被低估。但主战场在边缘Q-Sparse在约40%稀疏率下与密集模型相当。TEAL和PowerInfer瞄准内存受限设备
条件计算(MoE)前沿的既定架构名副其实。并在深化激活率2年从25%降至1.5%-4.5%。2025-2026年所有旗舰级开放模型均采用
注意稀疏性可原生训练的版本已进入产品已确立。但存在任务别性能下降风险NSA获ACL最佳论文奖。V4.1从一开始就以稀疏方式训练。Sparse Frontier的"至少一任务下降"
(平行系譜)低秩MLA和LoRA被广泛使用已确立。但勿与稀疏性混淆最高约93%的低秩KV压缩(V2)。LoRA是微调标准
(工具)稀疏字典/SAE讨论仍在继续作为发现工具已确立。作为检测器/控制器被过度评估GDM已降低优先级。在113个数据集上不如线性探针。Anthropic转向转码器和归因图

一句话:稀疏性在"激活"和"注意"上胜出,在"权重"上败出。胜出不是因为理论更优,而是因为零的位置有硬件能利用的结构。

未来(2026-2030年)

稀疏性的下一个维度不再是"计算哪些参数",而是"保存哪些知识、读取哪些历史"。以下呈现研究前沿、硬件趋势,以及5个可证伪的预测。

スパース性の配分とEngramのスケーリング
图20. 稀疏性分配与Engram的扩展。左:稀疏参数预算中分配给MoE专家而非Engram条件记忆的比例对验证损失的影响。在两种计算预算(2e20和6e20 FLOPs)下,曲线均呈U形,混合方法优于纯粹MoE(最右端的点)。右:在无限记忆域中,损失相对于嵌入槽数呈对数线性下降。出处:DeepSeek-AI (Cheng et al.), "Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models," arXiv:2601.07372 (2026), Figure 3。来自作者公开仓库(Apache 2.0)。

研究前沿

  • 多轴稀疏性与预算配分。Engram论文发现的U形规律表明,纯粹MoE并非最优选择,应将稀疏性预算分配给"专家"和"条件记忆"。27B的Engram模型相比参数数量和FLOPs相同的MoE基线,在MMLU上实现+3.4、BBH上+5.0、HumanEval上+3.0的提升。机制分析表明,条件记忆将初始层从静态知识重组中解放出来。

  • 原生可学习的稀疏性成为标配。V4.1无需密集预热,从头开始在64K处学习稀疏注意力。这表明稀疏注意力已从推理时近似升级为学习时的一等公民。

  • 稀疏性×推理计算。推理模型生成长输出,预填充和解码都会变重。MoE提供知识容量,长思维链提供推理深度。CED的非对称激活对读写比例不同的工作负载进行了权衡。

  • 模块性与持续学习。专家和记忆表可以进行局部编辑。例如,有研究将用户记忆作为局部参数编辑写入(User as Engram, arXiv:2606.19172)。

  • 稀疏性与量化的结合。MXFP4的专家、FP4的KV、FP8的Engram已在V4.1和K3中并用。Q-Sparse的结论是:量化越激进,最优稀疏度就越高。

  • 硬件协同设计。Blackwell原生支持FP4,采用CXL内存池和SSD的分层KV存储正在进行。LLM规模的神经形态计算还是遥远的前景。

五项可证伪的预测(附带论证)

预测截止日期论证
主要开源模型中至少一个全局KV降至每令牌500字节以下2027年底V1到V4.1降低437倍,V4到V4.1仅一代就降低4倍,FP4已在使用
开源前5大模型中至少3个的每令牌激活率低于3%2027年底2026年时已有V4.1 (2.9%)、K3 (3.7%)、Qwen3.5 (4.3%),专家数每代翻倍
除DeepSeek外,至少2个主要研究机构在旗舰开源模型中引入查找表型条件记忆2028年Engram已有CXL、SSD和无需学习的衍生研究,NeMo也已搭载
在任何前沿研究机构,SAE都不会成为官方发布的生产安全监督的主要方法2028年GDM优先级下调。下游任务中的负面结果
同等能力级别的API单价继续以每年10倍以上的速度下跌,但企业每项任务的代理支出上升进行中Epoch价格趋势。代理调用次数翻倍

这对我们意味着什么

审查本质上是从大量条款和页面中选出top-K的任务,稀疏化趋势正在压低的正是这类任务的单价。开发长文档、图纸审查代理的企业有四项可行建议。

MDocAgentのマルチエージェント構成
图21. 长多模态文档问答的多代理系统MDocAgent。基于文本和图像的检索分别选出top-k段,通用代理和批判代理识别决定性文本和视觉证据,文本专家和图像专家生成回答,摘要代理整合答案。这是本文为审查业务推荐的"先检索后验证"混合方案的具体例子。出处:Han et al., "MDocAgent: A Multi-Modal Multi-Agent Framework for Document Understanding," arXiv:2503.13964 (2025), Figure 1。来自作者仓库(MIT)。
  • 成本曲线。将"缓存命中率"和"非高峰批处理比例"作为一级指标。审查任务本质上可批处理、可离线执行。将稳定的法令法规置于提示词开头,最大化前缀缓存命中。V4.1缓存输入的价格是缓存未命中的1/50,非高峰时段更便宜50%。

  • 模型选择。在关于"跨页对照和条款引用"的自有评估集上选择模型,按最难子任务而非平均分数判断。以高度稀疏的开源MoE作为主要工作模型,难案例的二次检查采用闭源前沿模型。

  • 长上下文策略。采用"top-K页面检索(可审计、带引用)+1M上下文中重新检查(以免遗漏跨页关系)"的混合方案。Sparse Frontier的结论直接适用于此。仅依赖稀疏注意力会在某些任务上性能下降,而审查正是"漏掉一个就导致整体答案错误"的任务。

  • 自托管决策。MoE内存由总参数决定。V4.1的路由专家和Engram表合计超过440 GiB,官方微调流程要求单个NVLink域内的64块GPU。低于数十块GPU规模难以保本,应选择API。

研究机会。现有研究将"预算内检查哪些页面"视为检索问题。但在跨页一致性检查中,真正稀疏的对象不是"页面"而是"页面对"。P个页面产生P(P−1)/2个对,需从中选出k个对进行交叉检查。这直接对应多代理系统的稀疏协作图,与DSA先用轻量级索引器对所有(查询, 键)对评分再取top-k的思路同构。这是我们能差异化切入的方向。

附录

A. 年表(1948年~2026年9月)

年份事件可信度
1948Shannon, A Mathematical Theory of Communication:冗余性与熵的形式化第一手论文
1961Barlow的冗余削减假说第一手论文
1967Tinney & Walker的稀疏矩阵排序(电力网计算)第一手论文
1978Rissanen的最小描述长度(MDL)第一手论文
1987Field:自然图像统计与皮层感受野第一手论文
1988–89Daubechies的紧支撑正交小波。Mallat的多分辨率分析第一手论文
1990–93OBD / OBS剪枝。匹配追踪第一手论文
1991Jacobs–Jordan–Nowlan–Hinton的局部专家混合第一手论文
1992 / 2000JPEG / JPEG2000标准规范
1994–96小波阈值去噪。Breiman的garotte。LASSO。Olshausen & Field的稀疏编码第一手论文
1998基追踪。DeVore的非线性近似第一手论文
2001–03Attwell & Laughlin的能量预算。Lennie的"可能低于1%"第一手论文(已验证)
2004–05LARS。Elastic Net第一手论文
2006–07压缩感知。K-SVD。Lustig的CS-MRI第一手论文
2009Donoho–Tanner相变第一手论文
2011Glorot的ReLU(50~85%严格零)。鲁棒主成分分析第一手论文(已验证)
2012Google的猫脸神经元第一手论文(已验证)
2013–14Bengio的条件计算与STE。Gavish–Donoho的最优硬阈值第一手论文
2016Deep Compression第一手论文
2017Shazeer的稀疏门MoE(137B MoE层)第一手论文(已验证)
2019彩票假说。事件地平线EHT M87*。Sarloretti的CS-MRI临床研究第一手论文
2020GShard。Hooker的硬件彩票。Ampere 2:4第一手论文
2021–22Switch Transformer。GLaM。ST-MoE。Expert Choice。Clark的MoE扩展第一手论文
2023Mixtral。SparseGPT / Wanda。StreamingLLM / H2O。Towards Monosemanticity第一手论文
2024年1–2月DeepSeekMoE。Gemini 1.5官方确认为MoE技术报告
2024年5月DeepSeek-V2 (MLA)。Scaling Monosemanticity。Golden Gate Claude技术报告
2024年6–7月Gao的TopK SAE。Q-Sparse第一手论文(已验证)
2024年12月DeepSeek-V3 (671B/37B)技术报告
2025年1月27日DeepSeek冲击:英伟达市值一日蒸发约589亿美元可靠报道
2025年2–3月NSA、MoBA。推理系统理论利润率545%。GDM下调SAE优先级第一手论文 / 官方
2025年4月Qwen3 MoE。Sparse Frontier预印本。Llama 4官方 / 第一手论文
2025年7–8月NSA获ACL最佳论文奖。Kimi K2。gpt-oss官方
2025年9–12月DeepSeek-V3.2、DSA技术报告
2026年1月Engram:条件记忆与U形稀疏性预算配分第一手论文
2026年2月Qwen3.5-397B-A17B官方模型卡
2026年4月24日DeepSeek-V4 (Pro 1.6T/49B、Flash 284B/13B)技术报告
2026年7月Kimi K3 (2.8T/104B)。Sparse Frontier被收入ACL 2026论文集官方
2026年9月10日DeepSeek-V4.1-Flash (CED、CSA2、每令牌890 B、Engram)官方+技术报告(已验证)

B. 可图化的数据序列

  • DeepSeek全局KV缓存(每令牌):V1 ≈ 389 KB(估计)→ V3.2 ≈ 48 KB → V4-Flash ≈ 3.5 KB → V4.1-Flash 890 B。对数坐标。

  • 每令牌激活率:Mixtral 28% → Qwen3 9.4% → gpt-oss 4.4% → Qwen3.5 4.3% → Kimi K3 3.7% → V4.1解码2.9% / 预填充1.4%。

  • 专家数量(已选择/总数):2/8 → 4/128 → 8/256 → 6/384 → 10/512 → 16/896。

  • DeepSeek API定价($/M,输入/输出):V4-Flash 0.14 / 0.28。V4-Pro 1.74 / 3.48(8月之后峰值输出为3.96)。V4.1-Flash为峰值0.30 / 1.20、非峰值0.15 / 0.60、缓存0.006。

  • Sparse Frontier:预填充的最优稀疏率0.80~0.93。解码即使为0.95也能实用。交叉点为32~64K。

  • Glorot 2011的稀疏率:MNIST 83.4%、CIFAR10 72.0%、NISTP 68.0%、NORB 73.8%。

  • Q-Sparse:最优稀疏率45.58%(全精度) / 61.25%(1.58比特)。约40%时与密集模型相当。

  • Engram-27B相对于MoE基准线的差值:MMLU +3.4、CMMLU +4.0、BBH +5.0、ARC-C +3.7、HumanEval +3.0、MATH +2.4。

  • CS-MRI:扫描时间−20.2%、检查时间−16%、单序列−23%~−43%、检查数量+27%。

  • GPU计算性能与带宽:参见"神经网络时代"的GPU表。

C. 轶事与素材故事

  • "Lennie的1%"如何成为"1~4%"的:可用于澄清误解的引入。

  • 猫脸神经元(2012):1,000台机器用3天时间从YouTube视频帧中独立学习"猫"的故事。

  • Outrageously (2017):LSTM时代137B MoE层预示2026年格局的故事。Hinton与Dean的共著象征"1991年的旧想法×谷歌计算资源"。

  • DeepSeek冲击(2025年1月27日)与付诸545%的"理论上的"一词。

  • Golden Gate Claude (2024)与GDM的急刹车(2025年3月)。

  • CS-MRI:患者在扫描仪台上的时间减少20%,医院检查能力增加27%的故事。

  • 437分之一:每token的"内存"从约389 KB缩小到890字节的故事。

  • N元文法的回归:被历史尘封的统计语言模型作为Engram重新回到前沿的故事。

D. 常见误解及其纠正

常见说法准确描述
大脑只使用了1~4%的神经元Lennie 2003的实际表述是"可能低于1%",基于能量的上限估计。1~4%是通过Glorot 2011的间接引用
ReLU网络具有90%的稀疏性Glorot 2011:初始化时约50%,学习后50%~85%
GPT-4是16个专家的1.8T MoEOpenAI从未确认的2023年传言。GPT-5.x和Claude的结构同样未公开
CS-MRI将扫描速度提高30~60%Sartoretti 2019:平均扫描时间−20.2%,单序列−23%~−43%
Shazeer 2017:"最高1000倍"原文为"greater than 1000x(大于1000倍)"。137B为MoE层的参数数量
Sparse Frontier在ICML 2025发表正式发表于ACL 2026论文集
DeepSeek的利润率为545%为自报的理论成本利润率。实际远低,研发费用与训练成本被排除在外
MLA是稀疏注意力MLA是低秩压缩。实际稀疏的是DSA / CSA2
稀疏注意力可以无限制压缩几乎所有配置至少在某个任务上都会出现明显的性能下降

E. 参考文献

经典基础:Shannon 1948; Barlow 1961; Tinney & Walker 1967; Rissanen 1978; Field 1987; Mallat 1989; LeCun, Denker & Solla 1990; Jacobs, Jordan, Nowlan & Hinton 1991; Mallat & Zhang 1993; Donoho & Johnstone 1994 (Biometrika); Breiman 1995; Tibshirani 1996 (JRSS-B); Olshausen & Field 1996 (Nature); Chen, Donoho & Saunders 1998; DeVore 1998; Attwell & Laughlin 2001; Lennie 2003 (Curr. Biol.); Efron et al. 2004; Zou & Hastie 2005; Candès, Romberg & Tao 2006; Donoho 2006; Aharon, Elad & Bruckstein 2006; Lustig, Donoho & Pauly 2007; Lee, Battle, Raina & Ng 2007; Donoho & Tanner 2009; Glorot, Bordes & Bengio 2011; Candès, Li, Ma & Wright 2011; Le et al. 2012; Bengio et al. 2013; Gavish & Donoho 2014; Han, Mao & Dally 2016; Shazeer et al. 2017; Frankle & Carbin 2019; Sartoretti et al. 2019; Vranic et al. 2019; Hooker 2021 (CACM); Fedus, Zoph & Shazeer 2021; Clark et al. 2022.

2023~2026年:Frantar & Alistarh 2023 (SparseGPT); Sun et al. 2023 (Wanda); Xiao et al. 2023 (StreamingLLM); Bricken et al. 2023; Jiang et al. 2024 (Mixtral); Dai et al. 2024 (DeepSeekMoE); DeepSeek-AI 2024 (V2, V3); Templeton et al. 2024; Gao et al. 2024; Wang et al. 2024 (Q-Sparse); Krajewski et al. 2024; Yuan et al. 2025 (NSA); Nawrot et al. 2025/2026 (Sparse Frontier); Kantamneni et al. 2025; OpenAI 2025 (gpt-oss); Google DeepMind 2025 (Gemini 2.5技术报告, arXiv:2507.06261); Moonshot 2025/2026 (Kimi K2, K3); Alibaba 2026 (Qwen3.5); Cheng et al. 2026 (Engram, arXiv:2601.07372); DeepSeek-AI 2026 (V4, arXiv:2606.19348); DeepSeek-AI 2026 (V4.1-Flash, arXiv:2609.19969); Ma et al. 2024 (MMLongBench-Doc).

教科书与综述:Elad, Sparse and Redundant Representations (2010); Hastie, Tibshirani & Wainwright, Statistical Learning with Sparsity (2015); Mallat, A Wavelet Tour of Signal Processing (第3版); Foucart & Rauhut, A Mathematical Introduction to Compressive Sensing (2013); Hoefler et al. 2021, Sparsity in Deep Learning; Cai et al. 2024, A Survey on Mixture of Experts.

分享此文章