你有没有想过，一个训练好的神经网络,里面到底装了多少"没用的东西"?
这个问题在2025年之前有一个还算清楚的答案:剪枝和量化,各干各的活,谁也不管谁。剪枝负责把不重要的权重直接归零,量化负责把留下来的权重从32位浮点数压成8位甚至更低。两条流水线,两套团队,两次优化,最后拼在一起交货。
这篇来自普渡大学和德州大学埃尔帕索分校的论文,提出了一个让人有点意外的观点:分开做这两件事,本身就是一种浪费。
**核心问题:两条腿走路,为什么反而摔跤**
想象你要给一个大家庭搬家,要求是既要扔掉不需要的东西(剪枝),又要把留下的东西打包得尽量小(量化)。如果你先花一整天决定扔什么,第二天再决定怎么打包,你大概率会发现:昨天觉得"必须留下"的一个大衣柜,今天打包的时候才意识到根本塞不进搬家车,应该换成别的方式处理。
先剪枝后量化,或者先量化后剪枝,都会遇到类似的问题。剪枝阶段以为某个权重很重要所以保留了它,但等到量化阶段,发现这个权重在低精度表示下反而变得没那么关键,这时候已经晚了,决策已经做完了。
论文管这个现象叫"redundanciesineachstep",也就是每一步单独优化时都会漏掉的冗余。数据说话最直接:在ResNet-32上,分开做的DGMS方法能达到27倍压缩,而论文提出的SQS联合优化方法能做到32倍压缩,准确率下降还从1.30%降到了1.29%。压缩率提升了18%,精度损失反而更小。这不是玄学,这是把两个决策放在同一个优化过程里同时权衡的结果。
那么问题来了,联合优化听起来是个正确的方向,但具体怎么在数学上把"该不该留下这个权重"和"留下的权重该量化成什么值"这两件事捏合到一起?这篇论文给出的答案,是一套叫SQS的贝叶斯框架。
**贝叶斯变分学习:用概率分布描述"权重的命运"**
先说说这套方法的骨架。SQS,全称SparseQuantizedSub-distribution,直译是"稀疏量化子分布",这个名字听起来抽象,拆开看其实很直观。
变分学习*:一种用简单分布去近似复杂后验分布的贝叶斯推断方法。真实的后验分布往往算不出来,所以退而求其次,在一族"好算"的分布里找一个最接近真实分布的,这个过程就叫变分学习。
论文的做法是,不再把每个权重看成一个固定的数字,而是看成一个概率分布,这个分布同时描述了"这个权重有多大概率被剪掉"和"如果不被剪掉,它更可能落在哪几个量化值附近"。
这个分布由两部分拼成。第一部分叫spike,也就是"钉子",在数学上是一个点质量,概率全部集中在0这一个点上,代表"这个权重被剪掉了"。第二部分叫slab,也就是"板子",是一个连续分布,代表"这个权重被保留时的取值范围"。
spike-and-slab先验*:贝叶斯统计里用来诱导稀疏性的经典先验分布,由一个在零点的尖峰(spike)和一个平缓的连续分布(slab)混合而成,常用于变量选择问题。
这个概念本身在统计学里已经有几十年历史,不是这篇论文的原创。论文的创新点在于slab那部分怎么设计。传统做法里slab往往是一个简单的高斯分布,但SQS把slab换成了一个高斯混合模型。
高斯混合模型(GMM)*:由多个高斯分布加权叠加而成的概率分布,常用于聚类和密度估计。每个高斯分量有自己的均值、方差和权重。
为什么要用GMM而不是单个高斯?因为量化的本质就是把连续的权重值映射到几个离散的代表值上,比如4bit量化只允许16个可能的取值。GMM里的每个高斯分量的均值,天然就可以当作量化后的候选数值。当每个高斯分量的方差被压得足够小的时候,GMM这个连续分布就退化成了一个离散的多项分布,这个"退化"的过程,恰好就是量化想要模拟的效果。
这里可以打一个比方。假设你要给一批学生的成绩打包成等级(A、B、C、D),但打分老师内心的判断本来是连续的,比如85.3分、85.7分、86.1分都倾向于打A,但具体给哪个数字有点模糊。GMM式的思路是:先假设有几个"标准分数中心"(比如90分代表A的中心,80分代表B的中心),每个学生的真实分数以一定概率归属到最近的中心。方差越小,这个归属就越果断,最后几乎就是非黑即白的等级划分了。如果不用这种带概率的软划分,而是一上来就硬性规定"85分以上是A,以下是B",会发生什么?85.01分和84.99分这种边界情况会被粗暴地分到两个完全不同的等级,损失大量原本连续变化的信息。GMM的软划分保留了这种渐变的可能性,直到训练收敛前它都还有调整空间。
论文的完整变分分布,就是spike(要不要留)乘以GMM(留下来量化成什么),这两层决策被写进同一个概率分布里,同一次梯度下降就能同时调整两者。这就是"联合"的数学含义,不是先后串行,而是在同一个目标函数里同时求解。
**目标函数算不出来怎么办:一个巧妙的近似**
理论听起来很美,但这里有一个卡壳的地方。
标准的贝叶斯做法要求你去最小化一个叫ELBO的东西。
证据下界(ELBO)*:变分学习中用来替代直接优化难以计算的后验分布的目标函数,由两部分组成:衡量拟合数据程度的似然项,和衡量与先验分布接近程度的KL散度项。
ELBO里有一项是变分分布和先验分布之间的KL散度。
KL散度*:衡量两个概率分布之间差异程度的一种度量,数值越小说明两个分布越接近。
问题是,spike-and-slab分布和GMM分布之间的KL散度,根本没有解析解,算不出来。这不是工程实现的困难,是数学上就没有闭式解。
论文的解决办法分成两步走。第一步,面对似然项里那个"在整个分布上求期望"的操作,论文没有真的去采样很多次权重再平均,而是直接用分布的均值代入网络做一次前向传播,相当于用一个"平均权重"网络去近似整个分布的期望效果。第二步,面对算不出来的KL散度,论文用一个数学引理把它的上界推导出来,上界里出现的是"最大概率的那个高斯分量"和"零均值高斯先验"之间的KL散度,这个是有闭式解的高斯对高斯的KL散度。
用上界代替真值来优化,是变分推断里的常规操作,但这里巧妙的地方在于,论文没有简单粗暴地用一个大杂烩上界,而是精确定位到"贡献最大的那个分量"上做近似,这样既控制了近似误差,又让计算量保持可控。
打个比方,如果你要评估一个班级今天的整体出勤状态,严格来说应该统计每个学生具体在哪、干了什么,但这个信息量太大算不过来。一个务实的近似是:只看每个学生最可能去的那个地方(教室、操场、图书馆),按照这个"最大概率地点"来估算全班状态。这样虽然损失了一些细节,但抓住了主要矛盾,而且计算量从"追踪每个人的完整概率分布"降到了"记录每个人最可能在哪"这么简单。
**推理阶段:贝叶斯平均比"选最可能的那个"更稳**
训练结束之后,怎么用这个学出来的分布去做预测?论文在这里比较了两种做法。
第一种叫贪心法(greedy),对每个权重直接选概率最高的那个量化值,一锤定音。第二种叫贝叶斯平均(Bayesianaveraging),从整个分布里采样出好几组完整的权重(论文默认采4次),分别跑一遍网络,再把结果平均。
实验结果很直接:在ResNet-18和ResNet-50上,用相同数量的高斯分量,贝叶斯平均始终比贪心法准确率更高。这个差距在分量数少的时候(比如K=8)更明显。
论文还专门测了平均次数M对结果的影响。M=1时准确率掉了3.76个百分点,M=5时降到2.86,M=50时降到2.63。有意思的是,从M=5到M=50,准确率只提升了0.23个百分点,大部分收益在前5次采样就吃到了。
这背后的道理其实很朴素。你去问5个不同的医生同一个诊断问题,取多数意见,通常比只问1个医生靠谱,但问50个医生和问5个医生的效果差不了太多,因为多数意见早就趋于稳定了。贝叶斯平均本质上就是"问多个版本的自己",用采样出的多组权重分别预测再取平均,抵消掉量化引入的随机噪声。如果只相信贪心法选出的那"一个标准答案",一旦这个最大概率分量的选择本身就带着量化误差,预测结果就完全暴露在这个误差之下,没有任何缓冲。
**长尾分布与离群值:大语言模型权重里的隐藏麻烦**
如果说前面讲的是SQS的通用骨架,那这一部分讲的是论文针对大语言模型专门做的一个补丁,而且这个补丁的效果相当显著。
论文观察到一个现象:大语言模型的权重分布,尤其是自注意力层的权重,往往不是规规矩矩的高斯钟形曲线,而是长尾分布,也就是绝大多数权重挤在中间一小段区间里,但有极少数权重的数值特别大,拖出一条长长的尾巴。
长尾分布*:一种概率分布形态,大部分数据集中在某个区间,但存在少量远离主体、数值极端的样本,这些极端样本被称为离群值(outlier)。
这个现象不是这篇论文首次发现的,此前已有研究指出大语言模型权重里存在显著的离群值。但SQS的应对方式值得细说。
论文原本的量化方案是把一层的权重按照数值范围切成4个等宽窗口,每个窗口内部单独拟合一个K分量的GMM。这个思路在权重分布均匀的情况下没问题,但碰到长尾分布就会出问题:因为窗口是等宽切分的,那些占少数但数值极端的离群权重,会和大量普通权重挤在同一个宽窗口里,量化精度被主体权重"平均"掉了,离群值的信息被严重稀释。
论文的解决方案叫outlier-awarewindowing,离群值感知的窗口划分。
IQR(四分位距)*:统计学中衡量数据离散程度的指标,等于第三四分位数减去第一四分位数,常用于识别异常值。
具体做法是,先算出这层权重的四分位距IQR,然后用5倍IQR作为界限,把权重切成4个窗口,其中专门留出两个窗口去捕捉最低和最高的尾部区域,剩下的窗口处理中间的主体部分。这样,原本被稀释掉的离群权重,现在有了自己专属的量化空间,不用再跟主体权重抢资源。
实验数据很能说明问题。在Qwen2.5-0.5B模型上,相同6bit精度、相同50%非零率的条件下,用等宽窗口的准确率掉了5.40个百分点,用离群值感知窗口只掉了2.46个百分点,差距接近3个百分点。论文配的图里,可以直观看到用离群值感知窗口量化出来的权重分布,在尾部区域和原始全精度权重的形状吻合得多,而等宽窗口在尾部区域基本是空的,那部分信息被丢光了。
这里可以类比一下城市规划。如果一个城市里绝大多数房子都是普通住宅,只有少数几栋是摩天大楼,你如果按照"每个区域面积相等"的原则来划分行政区,摩天大楼所在的那个区域可能因为面积配额有限,反而没法给这栋楼配套足够的基础设施,因为设计者默认这个区域应该跟其他区域承载差不多规模的建筑。而如果你事先知道这些摩天大楼扎堆在哪,单独给它们划出一个特殊管理区,反而能针对性地投入资源。等宽窗口就是前者的思路,离群值感知窗口就是后者。为什么不能一开始就把所有窗口都设计成动态自适应大小?因为对于绝大多数没有长尾的普通层,这样反而增加了不必要的计算复杂度,论文选择了一个折中方案,用IQR这个统计量来判断该不该做特殊处理。
**理论保证:这套方法不是拍脑袋,是有数学支撑的**
如果一篇论文只讲实验效果,读者难免会怀疑这是不是运气好凑出来的结果。这篇论文专门用了一整节做理论分析,证明在一定条件下,这套spike-and-GMM变分方法学出来的稀疏量化网络,会随着数据量增大而收敛到真实的目标函数。
论文考虑的是一个标准的非参数回归问题,真实函数记为f0,数据里带着高斯噪声。论文证明了一个叫Hellinger距离的量,会被一个由三部分组成的误差上界给控制住。
Hellinger距离*:一种衡量两个概率分布相似程度的度量,数值越接近0说明两个分布越相似,常用于统计推断中的收敛性分析。
这三部分误差分别是统计估计误差、变分误差和逼近误差。前两者会随着样本量n趋向无穷而消失,逼近误差则和网络的容量有关,网络越大,能表达的函数越丰富,逼近误差反而越小。这和统计学习理论里的经典权衡完全一致:模型容量增大,能降低逼近误差,但会增加统计估计和变分近似的负担,好在这篇论文证明了在合理的稀疏度和先验设置下,三者可以同时被控制住。
证明过程借助了一个叫Lemma3的引理,这个引理本身来自更早的一篇论文(Chérief-Abdellatif和Alquier,2018),给出了两个混合分布之间KL散度的上界,前面讲的那个"近似目标函数"的推导,数学基础就来自这里。
理论分析当然有局限,论文自己也承认,这套证明目前只覆盖了全连接网络的回归任务,没有直接覆盖Transformer架构或分类任务。但至少证明了这套框架不是一个纯粹靠调参凑出来的经验方法,背后有可以立得住的数学逻辑。
**实验战场:从ResNet到Llama,压缩率全面领先**
理论说完了,该看实际战绩了。
在ResNet-56上,SQS用2bit精度、50%非零率,达到了32倍压缩,准确率只掉了0.84个百分点,而同为联合压缩方法的DGMS只能做到31倍压缩,准确率掉0.89个百分点。差距虽然不算悬殊,但SQS在所有对比方法里都拿到了更优的压缩率和更小的精度损失,这个"双赢"的组合在压缩领域并不常见,通常压缩率和精度是要互相妥协的。
BERT-base在SQuADv1.1数据集上的结果更能说明差距。传统的纯剪枝方法比如L-OBS只能做到2倍压缩,F1分数掉了10.86分;PLATON能做到5倍压缩,F1掉2.20分;而SQS用4bit量化配合25%非零率,做到了32倍压缩,F1只掉1.66分。压缩率是PLATON的6倍多,精度损失反而更小。
真正让人印象深刻的是大语言模型上的对比。在Llama3.2-1B上,DGMS这个原本表现不错的基线方法,压缩率只有7倍,但准确率暴跌了46.67个百分点,几乎等于模型失效了。原因论文分析得很清楚:DGMS假设权重服从高斯分布,但自注意力层的权重是前面提到的长尾分布,DGMS的量化方案完全没有为离群值留出空间,而且这个方法本身不支持自定义稀疏度,只能被动接受一个不合理的压缩配置。相比之下,SQS用同样6bit精度,把非零率控制在25%,做到了21倍压缩,准确率只掉1.48个百分点。这不是渐进式的改进,这是量级上的差异。
论文还专门跟一个叫BayesianBits的方法做了对比。这个方法同样是贝叶斯框架下统一剪枝和量化,但它的做法是给一串"翻倍位宽"的残差项加门控,本质上是在一个均匀网格上做选择。在ResNet-56上,BayesianBits做到约13.5倍压缩,准确率掉6.79个百分点;SQS做到17倍压缩,准确率只掉0.84个百分点。差距的核心在于,SQS学的是GMM均值这种非均匀的码本,而不是被限定在均匀网格里,这给了模型更大的自由度去逼近真实权重分布的形状。
下面这张表格汇总了几个关键场景下SQS和最强基线的对比:
**关于压缩率计算方式,一个诚实的说明**
这篇论文有一个值得称道的细节,它专门用一段篇幅解释了自己压缩率的计算口径,而不是回避这个问题。
持牌股票配资平台论文的压缩率公式没有单独给"哪些权重被剪掉了"这个二进制掩码计入存储成本,这是沿用了它对比的一系列剪枝基线方法(比如L-OBS、PLATON、ExactOBS)一贯的统计口径。论文解释,如果按照更严格的部署导向标准,比如像位图或压缩稀疏行索引那样显式为稀疏结构计费,那么所有基于剪枝的方法(包括SQS自己)算出来的绝对压缩率都会偏低,但方法之间的相对排名不会变。
这种坦率地把统计口径的局限性摆在明面上,而不是藏在脚注里含糊带过,是这篇论文让人信任的一个细节。
元股证券:ygzq.hk**写在后面**
读这篇论文的时候,有一个地方让我反复琢磨:为什么"先剪枝后量化"这种看似合理的流水线思路,在实践中会漏掉这么多冗余?
后来想明白了,问题出在信息的单向流动上。剪枝阶段做决策的时候,它并不知道量化阶段会怎么处理留下来的权重,它只能基于"这个权重现在的重要性"来判断该不该留。但一个权重在32位浮点精度下看起来很重要,不代表它在4bit精度下依然重要,精度损失本身会重新洗牌哪些权重才是真正关键的。反过来,量化阶段拿到的输入已经是剪枝之后的结果,它没有回头修改剪枝决策的余地。这是一个典型的"局部最优不等于全局最优"的例子,而且这个例子藏在一个我们平时不太会去质疑的工程习惯里,分阶段处理复杂问题。
另一个值得单独说的细节是论文对DGMS失效原因的分析。DGMS在ResNet上表现不错,但在Llama和Qwen上直接崩掉,原因不是算法本身有bug,而是它对权重分布形态的假设(高斯)在小模型上大致成立,但在大语言模型的自注意力层上完全不成立。这提醒我一件事:很多压缩方法的"通用性"其实是有隐藏前提的,这个前提往往是关于权重分布形态的一个隐含假设,论文如果不做长尾分布的可视化分析,这个失效原因可能永远被归因成"大语言模型更难压缩"这种笼统的说法,而不会被追溯到具体的分布假设失配。
这篇论文目前的理论分析还停留在全连接网络的回归问题上,没有覆盖Transformer架构。但反过来想,理论落后于实践,在深度学习领域几乎是常态,而不是例外。
Q&A
Q1：SQS压缩方法是什么？
A：SQS是普渡大学团队提出的一种贝叶斯变分学习框架,通过spike-and-slab先验和高斯混合模型联合完成神经网络的剪枝和低比特量化,在ResNet、BERT、Llama3.2等模型上都取得了比传统分步压缩方法更高的压缩率。
Q2：SQS和DGMS这类方法有什么区别？
A：DGMS只用高斯混合做量化聚类,不支持自定义稀疏度,遇到长尾权重分布时会大幅掉精度。SQS把剪枝和量化写进同一个spike-and-GMM变分分布里联合优化,还加入了离群值感知的窗口策略,在Llama3.2-1B上准确率损失从46.67%降到1.48%。
Q3：为什么大语言模型的权重更难量化？
A：因为大语言模型自注意力层的权重往往呈长尾分布,少数权重数值极端大,如果用均匀窗口做量化潜力股,这些关键的离群权重会被主体权重稀释掉,导致模型性能大幅下降,这也是SQS专门设计离群值感知窗口的原因。
合规证券杠杆网提示：本文来自互联网，不代表本网站观点。
