模型的量化,是降低大模型实际运行和部署门槛的重要手段。
常见的量化方案,通常是基于预设的固定码率(例如4bit,8bit等)和量化格式来进行。
但实际情况下,模型的规模可能千差万别,不同设备上的显存也各不相同,基于几个预设的量化档位,很难进行精细的匹配和调整。
针对这一问题,魔搭团队设计并开源了全新模型权重压缩方案EntroPack。它能提供模型精细调整量化码率的旋钮,让量化模型的体积实现准确可控。
EntroPack将信息熵(entropy)纳入量化与压缩的联合设计。它能直接运行在包括NVIDIA、AMD、ZW-PPU等多种GPU设备上,量化过程无需激活校准或微调,且能支持任意码率和多种数值精度。
当前魔搭团队已经将EntroPack的实现完全开源,并且接入了扩散模型和大语言模型的不同开源生态。
技术原理:通过信息熵实现模型压缩大小的精确控制
在信息论中,entropy是无损编码平均码率的理论下限,而entropy-coding算法可以使实际平均码率接近这一下限。基于这个启发,EntroPack采用格量化与entropy-coding相结合的权重压缩方案,将码率控制问题转化为对量化结果的信息熵调控问题。整体的编解码流程如下:
编码第一步:搜索符合预算的量化尺度
在有限的显存预算(或者存储预算)下,团队希望能获取最佳的编码精度以及方式。为了达到这个目标,对于给定的任意权重矩阵,EntroPack先按行对其进行归一化,减小不同行的幅度差异,再通过几何二分搜索在随机采样的子矩阵上找到满足预算要求的量化尺度。
给定搜索的上界和下界,每次迭代都取它们的几何平均值作为候选尺度s。基于s,每8个数值都被联合量化成一个E8格点,每个格点被表示为一个类别标记和八个整数符号的组合。此后,对所有格点的符号频率进行统计并建立编码概率表,就可以估计每个参数的平均存储位数bpp(bits per parameter)。
如果预估bpp超过预算,就增大尺度,低于预算则减小尺度,以此逐步收窄搜索区间,通过几次迭代就可以迅速找到合适的尺度:团队可以计算出,最多12次迭代就可以实现收敛,这使得EntroPack的确定编码方案阶段能迅速收敛,不会引入过多的overhead。
编码第二步:优化量化误差与并进行熵编码
全局尺度s的搜索是在子矩阵上进行的,搜索完成后,就可以用s将整个矩阵量化为一组E8格点。
下一步,EntroPck将矩阵全局尺度与每行的归一化尺度合并,再根据原始权重和初始量化格点,通过最小二乘法重新拟合每行的重建尺度,在不增加尺度存储开销的前提下,缩小权重重建误差。
如果希望进一步降低量化误差,EntroPack还提供了逐行率失真优化算法,可以进一步在同一存储预算下进行邻域局部搜索,为不同行分配更优的量化尺度和格点。
误差优化完成后,需要将E8格点分成多个数据块,在GPU上使用rANS算法进行分块并行熵编码,将每块编码为压缩码流,以此得到最终的压缩矩阵。
解码:GPU并行
通过EntroPack量化过的模型,在加载时可以在矩阵运算过程中,先通过对应的entropy-decoding恢复E8格点,再乘上每行的重建尺度,可得到原权重的重建值:
实际的实现中,EntroPack为解码提供了高效的GPU并行实现,能够将熵解码、格点恢复和行缩放等操作,融合到同一CUDA内核中,省去中间符号张量的读写耗时,大幅提升EntroPack的解码吞吐,提高解码的效率。
性能测试:码率自由,高精度重建
对量化后模型的实际大小以及压缩引入的精度损失做对比,可以看到,相较业界其他的量化压缩方案,EntroPack不仅能支持根据需求自由设置目标码率,而且在相近码率下,权重重建误差低于NF4、FP8和INT8等方案。以上曲线还表明,随着码率的降低,误差呈指数增长。在这样的误差曲线下,EntroPack能充分地利用固定档位之间的存储余量,将存储预算转化为更高的量化精度。
为了对这个结果有更直观的了解,魔搭团队在Z-Image-Turbo模型上,对不同量化方案进行了详细对比。在相近码率下,EntroPack在量化过程中引入的权重误差是最低的。而从运行效率来看,高效的GPU并行策略,也让其编解码速度远超同类熵量化方法。
实际应用场景与效果
EntroPack是一个通用的张量压缩方案,其特性尤其适用于计算密集型的场景,在扩散模型以及自回归语言模型的低显存LoRA训练与推理上,都有很大的应用潜力。
探索模型低位量化的极限
传统量化方案的量化极限大多止步4位,EntroPack则不必受到固定位宽的限制。在混合量化的加持下,EntroPack将Z-Image-Turbo模型整体压缩至2.3bpp,模型体积降低7倍,而生成图像仍保留了合理的构图和主要细节。在极限量化时,EntroPack提供了更灵活的混合配置,模型的输入、调制等量化敏感层可以采用3位以上的高精度压缩以保证推理效果,而其他层则可压缩至2bpp左右,以减小模型体积。
紧贴显存预算的量化模型推理
在本地推理中,开发者经常遇到的问题是,在显存受限的时候,8bit精度的模型本地跑不起来,而4bit特精度的模型又可能不能充分用满显存。有了EntroPack,团队能确保有限的显存能最大限度的被充分使用。以Qwen-Image-2.1在10GB显存预算下的量化场景为例,在这个预算下,NF4量化占用8GB显存,对应的权重重建误差为9.4%。而EntroPack则能进一步利用剩余预算:通过使用4.8bpp的精细量化方案,可以用接近10GB的显存,将重建误差降至4.26%。从下图可以看到,相比NF4,EntroPack在发饰、扇子等细节上更接近BF16原模型的生成结果。
融入已有量化体系,实现可控压缩和高性能GEMM的强强联合
EntroPack能支持任意数据类型的压缩,这使得它可以对特定精度的量化模型进行二次压缩。通过这种复合量化方案,可以在获取FP8和INT8等固定格式量化的推理加速的同时,也利用EntroPack来实现压缩比的精确可控。例如针对MOSS-Image模型的量化,魔搭团队基于这一方案,将INT8量化权重压缩至6bpp;同时进一步结合计算图编译来实现解码,最终能实现MOSS-Image单图推理加速近两倍。
低显存的LLM量化模型训练
对于LLM模型领域,在涉及大量密集型计算的场景(例如自回归Transformers模型的Prefill阶段),EntroPack同样能有用武之地。比如在量化LoRA训练中,EntroPack的应用能在相对小的overhead下,有效降低模型训练对于显存资源的要求。它不仅能取得媲美非量化LoRA的训练速度,还能通过调整压缩比,让训练显存占用精确契合不同的本地显存预算。
目前EntroPack已接入训练与部署框架ms-swift,在Qwen3.8-27B的LaTeX OCR微调场景中,EntroPack的多个码率配置与NF4呈现相近的训练损失收敛曲线。其中,2bpp配置将模型大小从NF4的16.7GB降至10.57GB,单卡训练显存峰值从25GB降至19GB,成功实现了24GB消费级显卡上的大模型微调。
结语
EntroPack方案走出了一条全新的、不依赖于固定格式的大模型量化路线。目前EntroPack的详细实现以及技术报告均已经开源。同时作为配套,魔搭团队还同步开源了基于EntroPack精细量化的MOSS-Image、Qwen-Image-2.1、MiniMax-H3-Image、MiniMax-H3、Z-Image-Turbo、flux-3-image-klein等模型权重,包含多种码率及INT8二次压缩版本,支持根据显存预算进行自主选择。
除了在本文讨论的应用场景,作为一种通用的矩阵压缩方法,EntroPack在生成式大模型量化中同样具有很大的应用潜力,包括在KV Cache压缩等扩展领域的应用也值得进一步探索。
开源项目代码:https://github.com/modelscope/entropack
技术论文:https://arxiv.org/abs/2609.34185
使用文档:https://entropackdoc.readthedocs.io/zh-cn/latest/
预量化权重:https://www.modelscope.cn/collections/DiffSynth-Studio/EntroPack-Quantized-Models
扩散模型的推理与训练支持:https://github.com/modelscope/DiffSynth-Studio
大语言模型的量化训练支持:https://github.com/modelscope/ms-swift
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
【学术投稿】请在工作日发送邮件至:ai@qbitai.com,标题注明【投稿】,并告诉我们:你是谁,从哪来,投稿内容附上项目/主页链接,以及联系方式。
🎓
我们会 (尽量) 及时回复你 :)
🌟 点亮星标 🌟
科技前沿进展每日见


