同样微调一个70亿参数的大模型，全量微调要准备80GB以上的显存，LoRA微调30GB上下就能跑，差距大到直接决定你用的是A100还是消费级显卡。
LoRA和全量微调显存需求差多少
很多人第一次接触大模型微调，看到“LoRA”和“全量”两个选项就纠结，其实不用纠结，先把显存这笔账算清楚，微调时显存主要由四个部分叠加：模型权重、梯度、优化器状态、激活值，全量微调四个都要占,LoRA只占其中一小截。
全量微调显存需求：权重梯度优化器全都要
全量微调时，模型每一层参数都要更新，所以梯度要和权重一样大，拿7B参数模型、bf16精度举例：
- 模型权重：约14GB
- 梯度：约14GB，所有参数都得算梯度
- 优化器状态：Adam优化器加动量、方差，按fp32存，每参数约8字节，要56GB左右，精简配置也得28GB
- 激活值：看序列长度和batch size，长上下文下常吃掉20GB
这几项加起来，7B模型全量微调显存需求轻松破80GB，行业共识是，想在一张卡上跑全量7B微调，至少得A100 80GB,这就是该任务长期被云厂商和专业工作室垄断的原因。
LoRA微调显存需求：只给低秩矩阵算梯度
LoRA的思路是把大参数冻住,只训练旁边挂的几百上千万参数的小矩阵。
- 模型权重：还是要加载，约14GB，省不掉
- 梯度：只针对LoRA参数，算下来只有几十MB
- 优化器状态：同样只涉及LoRA参数，可忽略不计
- 激活值：前向传播结果该存还得存，10GB到20GB跑不掉
这样算下来，7B模型LoRA微调显存需求大约在28GB到32GB，一张RTX 4090的24GB基本够用,开梯度检查点还能更省。
| 显存项目 | 全量微调（7B） | LoRA微调（7B） |
|---|---|---|
| 模型权重 | 约14GB | 约14GB，可量化到5GB |
| 梯度 | 约14GB | 几十MB |
| 优化器状态 | 28GB~56GB | 可忽略 |
| 激活值 | 20GB+ | 随上下文长度变化 |
| 总体需求 | 80GB以上 | 28GB~32GB |
本地微调大模型需要多大显存
这个问题很多人搜半天，得到的答案都是“看模型”，这里直接给出一套估算思路,照着算就行。
7B模型：全量80GB，LoRA 30GB
7B是目前本地微调最流行的档位，全量微调显存需求按上面的方法算就是80GB以上，LoRA微调只要30GB上下，如果手里只有一块24GB显卡，不用犹豫，去跑量化版LoRA，把权重压到8GB以内，整体显存能压到16GB左右。
13B模型：全量要双卡，LoRA仍有机会单卡完成
13B模型权重约26GB，全量微调需要120GB以上显存，单张A100 80GB不够，得上双卡或三卡，LoRA微调大约需要40GB上下，两张24GB消费级显卡能搞定,或者上4bit量化把LoRA显存需求压到30GB以内。
70B模型：全量直接放弃，LoRA也得租卡
70B模型权重约140GB，全量微调要几十张A100拼起来，个人不用考虑，LoRA微调也要200GB左右显存（权重加载140GB加激活值），只能走A100集群或云上租卡，这恰好说明LoRA不是万能药，但它让本地微调大模型需要多大显存
这个问题的答案，从“买不起”变成了“租得起”。
全量微调显存需求为什么压不下来
有人会问：全量微调不是更准吗？能不能想办法压显存？办法确实有，比如梯度检查点和混合精度,但天花板依然明显。
优化器状态是最大拦路虎
Adam优化器训练时会给每个参数维护动量和方差，用fp32存储，开销是参数的4倍，7B模型光优化器状态就占28GB到56GB，而LoRA只需要给几百万个低秩参数维护状态，两者差出三个数量级，这就决定了全量微调的底线很高,不是靠调几个参数就能省下来的。
激活值也会随上下文长度暴增
激活值大小和序列长度、batch size直接相关，处理长文档或长对话时，激活值可能比权重本身还大，全量微调7B模型做长上下文训练，激活值吃掉30GB不奇怪，这也是为什么有人拿着A100 80GB跑起来还是会爆显存。
微调显存不够怎么办：先量化，再换LoRA
显卡吃不住时，最直接的路径是从全量切到LoRA，再用GPTQ或AWQ把底座模型量化到4bit,实际操作：
- 量化模型权重，比如用AutoGPTQ把7B模型压到4bit，权重从14GB降到5GB左右
- 给量化后的模型接LoRA模块，训练时冻结底模
- 开梯度检查点，用激活值换梯度，显存再省一截
这套组合拳下来，7B模型微调显存需求能压到12GB到14GB,一块消费级显卡就能跑起来。
LoRA和全量微调怎么选：按场景来
预算有限、个人学习：直接LoRA
刚入门，手里只有一张4090或干脆云上租卡，别纠结，LoRA微调速度快、显存低、上限也不低，完全能跑出可用的模型,开源社区不少对话模型就是拿LoRA调出来的。
追求极致效果、资源充足：全量微调
全量微调在数据量充足时拟合得更扎实，特别适合垂直领域改造，但前提是多卡集群和足够预算，业内专家指出，全量微调适合有明确生产需求的团队,心态上要接受它的高成本。
折中路线：量化LoRA，够用就行
真实项目里，多数场景并不需要全量微调，量化底座加LoRA这套组合已经在不少垂直场景验证过效果，也是目前大模型微调显存不够怎么办的标准解法，先把最小可行方案跑通，再谈效果优化,才是务实的做法。
一句话收束：
全量微调显存需求高，是因为每个参数都要参与学习；LoRA把这条路绕开了，显存不够时优先量化加LoRA，先把模型跑起来再谈其他，这是目前成本最低的微调路径。
常见问题：LoRA微调显存需求相关疑问
Q1：LoRA微调后的模型和全量微调差距大吗
差距取决于数据量，数据较少时，LoRA效果和全量微调很接近，多数微调任务中已经够用；数据规模很大时，全量微调的天花板更高，实际项目可以把LoRA产物拿去对比测试,多数时候差距在可接受范围内。
Q2：8GB显存能跑LoRA微调吗
能，选择2B或3B级别的小模型，做4bit量化加LoRA，全套流程可以压在8GB以内，想跑7B模型，则建议换16GB以上显存,否则训练会非常痛苦。
Q3：LoRA训练很慢是为什么
LoRA训练的速度瓶颈通常不来自显存，而来自数据加载、CPU预处理和GPU利用率，先检查batch size是否过小，再看数据管线有没有开多进程，然后确认显存是否接近上限导致降频，LoRA微调显存需求低,但训练吞吐量依然要靠合理的工程配置来支撑。