模型压缩与量化在推理侧主要用来改善推理延迟、吞吐量和显存占用这三个硬指标，最终目标是把单次推理的成本打下来。这个问题在大模型落地时绕不开，模型参数规模持续膨胀，推理侧资源却永远有上限，压缩和量化本质上是从模型冗余里“抠”出性能空间，让同等硬件跑更大模型,或者让同等模型跑得更快更省。
模型压缩与量化在推理侧改善的核心指标是什么
推理侧的关注点和训练侧完全两回事，训练侧看收敛效果，推理侧只看跑得快不快、服务器扛不扛得住、钱包鼓不鼓，压缩和量化改善的指标，按重要性排序,大致是下面这几个。
延迟用户能直接感知的指标
延迟是推理服务最直接的体验指标，从用户发出请求到结果返回，中间隔了多少毫秒，直接决定产品顺不顺手，压缩和量化通过削减计算量来缩短这个窗口，剪枝去掉网络中对效果贡献低的连接，量化把浮点运算换成整数运算，硬件执行更快，对话类应用对这一点最敏感，回答慢半秒和快半秒,用户体感差一大截。
吞吐量服务端更在意的指标
吞吐量是单位时间内能处理多少请求，单次延迟降下来，吞吐量自然水涨船高，量化后的模型在GPU上占用计算资源更少，同一块卡能并发跑更多路请求，2026年的推理服务大多采用动态批处理机制，低精度模型可以让批处理队列排得更满,单位时间处理量提升带来的直接价值是少买几块卡。
内存占用能不能部署的分水岭
很多团队碰到的真实情况是：模型精度没问题，但显存放不下，一个数十B参数的模型，FP16精度就要占几十GB显存，单卡直接放弃，量化到INT8或INT4后，显存占用显著下降，原来要双卡甚至四卡的任务，现在单卡能跑。显存占用往往比延迟更能决定模型能否在给定硬件上部署
,行业共识认为这是压缩量化最先要解决的现实制约。
模型压缩和量化有什么区别：一个管体积，一个管速度
这个问题经常被拿出来对比，粗看都是让模型变小,但手段和优化侧重点差异明显。
压缩的四条主要路径
- 剪枝：把权重矩阵里接近零的值删掉，网络变稀疏，计算量下降，结构化剪枝删除整个通道或注意力头,对硬件执行更友好。
- 低秩分解：把大的权重矩阵拆成两个小矩阵相乘，近似原矩阵信息,在全连接层效果突出。
- 知识蒸馏：用小模型模仿大模型的输出分布，直接把模型结构缩小,蒸馏后的模型计算量天然减少。
- 权重共享：让多个权重共用同一数值簇,降低存储信息量。
量化的具体做法
量化把FP16或FP32的浮点权重映射到INT8、INT4这类低精度整数。它不改变网络结构，只改变数值表达方式，推理时硬件用整数运算代替浮点运算，速度和功耗都更优,实现路径有两条分支。
PTQ与QAT的取舍
PTQ（训练后量化）不需要反向传播，拿少量校准数据统计权重和激活值的分布范围，直接做映射，上手简单，但精度损失不稳定，QAT（量化感知训练）在训练阶段把量化误差模拟进去，让网络预先适应低精度表达，精度保留明显更好,但训练周期和成本相应急剧上升。
多数场景先用PTQ探路，精度不达标再切QAT，业内专家指出，QAT在大模型上的收益尤其明显，特别是激活值分布不规整的模型,PTQ掉点严重时QAT往往能拉回大部分精度。
模型量化推理耗时能降低多少：实测效果参考
这个话题没有统一答案，模型架构、硬件类型、量化位宽都会影响结果，但方向上高度一致：
量化后推理耗时明显下降，且规律可循。
| 量化方式 | 显存占用变化 | 推理耗时变化 | 精度风险 |
|---|---|---|---|
| FP16（基线） | 基准 | 基准 | 无 |
| INT8 | 降低约一半 | 整体速度提升较大 | 较低 |
| INT4 | 约为基线的四分之一 | 进一步提升，但受显存带宽制约 | 中等 |
有个细节常被忽略：INT4在很多硬件上需要先反量化到FP16再计算，瓶颈从算力转移到显存带宽，显存带宽不够时，INT4不见得比INT8快太多，多数情况下，INT8性价比最稳,INT4留给显存确实放不下的场景。
大模型部署显存不够怎么办：实操路径
显存放不下模型，是2026年最普遍的部署卡点之一，按下面这套路径排查,能解决相当一部分问题：
- 算出模型参数量在FP16精度下的显存基线需求。
- 先做INT8 PTQ，用校准集跑通,观察精度和速度变化。
- 精度损失超标，改用QAT,或结合结构化剪枝减少计算量。
- 还压不住，上INT4，同时量化KV Cache,把推理过程中的中间激活也降精度。
- 单卡方案全部走不通，再考虑张量并行切分到多卡,但那是分布式的范畴。
这套路径在数十B参数模型上可行性较高，再往上走还需要配合投机采样、paged attention等推理侧优化手段。
压缩量化后推理成本与价格变化
推理成本由硬件投入、耗电和运维三块构成，量化降低显存占用后，同样预算能选更大的云实例，或跑更长的服务时长，自建机房的话，耗电和散热压力同步减轻，不少团队反馈，把线上模型从FP16切到INT8后，推理服务的资源配额砍掉大半,每月费用降幅相当显著。
地域因素也有影响，北京、上海这些核心机房的算力单价相对高，把量化做到位，相当于每单位请求的基础设施成本被摊薄，对有边缘推理需求的团队，量化模型可以直接部署到小算力设备上,减少数据回传中心机房的传输开销。
关于模型压缩与量化在推理侧改善指标的常见问题
模型压缩和量化哪个效果更好？
没有绝对更优的一方，剪枝适合清理网络结构的冗余，量化适合压缩数值表示的冗余，两者作用层面不同，很多团队的常规操作是先剪枝后量化，把算力占用和存储占用按顺序依次压下来，最终达到单卡可部署的目标，具体哪个见效快,取决于模型本身的冗余类型和硬件对低精度运算的支持程度。
模型量化推理精度下降怎么办？
先检查校准集是否覆盖推理阶段真实遇到的数据分布，分布偏差大，量化区间统计就失真，精度掉得莫名其妙，其次是逐层做量化误差分析，找出误差集中的敏感层，单独保留更高精度，硬件支持的话，混合精度量化是折中方案，如果都不行，再考虑QAT,但训练成本需要预先评估。
量化对推理延迟的影响在什么情况下不明显？
模型参数量较小或显存带宽成为瓶颈时，量化带来的速率收益会被数据搬运延迟抵消，短序列输入场景里，计算量本身不大，量化收益主要落在显存节省，延迟改善有限，长序列生成任务中，内存带宽是主要瓶颈，INT8到INT4的变化此时才更有意义，判断标准就一条：看瓶颈在计算量还是数据搬运量。
回到开篇的问题：模型压缩与量化在推理侧改善什么指标？改善的是延迟、吞吐量和显存占用，最终改善的是钱，技术指标不是目的，让模型在有限硬件里跑起来、跑得快、账算得过来,才是压缩量化真正要回答的事。