多卡训练时，数据并行解决的是单卡训练速度慢的问题，模型并行解决的是单卡显存放不下模型的问题，两者分工明确，常组合使用。
在深度学习领域,当你想用多张GPU加速训练，首先得搞清楚这两个核心概念，数据并行和模型并行看似都是“多卡干活”，但解决的根本痛点截然不同，下面从实际场景出发，拆解它们分别应对的困境。
数据并行和模型并行分别解决哪类训练难题
数据并行：当单卡算力成为瓶颈
数据并行是最早被广泛使用的多卡训练策略,它的核心思路很简单：每张GPU保存一份完整的模型副本，然后分批次将训练数据切分到不同设备上，各自独立计算梯度，最后通过梯度同步来更新统一的模型参数。
数据并行要解决的核心问题，是单卡算力不够导致的训练时间过长。 当你的模型能够完整放入单张GPU显存，比如BERT Base、ResNet这类中等规模网络，但训练数据量极大，迭代次数成千上万时，单卡跑完一轮可能需要数天甚至数周，数据并行通过将数据切分到多张卡上并行计算，显著缩短单个epoch的训练时间。
解决单卡训练速度慢的具体表现：
- 显存利用率：每张卡持有完整模型，显存占用与单卡一致，但计算吞吐量却随卡数线性增长（理想情况下）。
- 通信开销：梯度同步是主要瓶颈，常用AllReduce算法，业界共识认为，当数据量足够大时，通信时间能被计算时间掩盖，加速比接近线性。
- 适用场景：模型参数规模小于单卡显存容量，且训练数据量大，使用4张V100训练ResNet-50 on ImageNet，数据并行可以让训练时间从几天缩短到几小时。
实操步骤示例（PyTorch DDP）：
- 使用
torch.distributed.launch启动多进程。 - 用
DistributedSampler对数据集分片，确保每张卡只看到一部分数据。 - 将模型包装为
DistributedDataParallel，自动处理梯度同步。 - 训练循环中,每个进程独立计算前向和反向，梯度同步后更新参数。
关键点： 数据并行依赖梯度同步的带宽和算法，常见优化包括梯度压缩、梯度累积、异步同步等，以应对多卡通信的延迟。
模型并行：当单卡显存装不下模型
模型并行则是另一种思路：将模型结构切分到不同GPU上，每张卡只负责一部分网络层或参数的计算，它的出现，是因为模型规模已经远超单卡显存上限。
模型并行要解决的核心问题，是单卡显存不足导致的无法训练大模型。 以GPT-3、LLaMA-65B这类大语言模型为例，单卡显存（即使80GB）也无法容纳全部参数、梯度和优化器状态，模型并行通过横向或纵向切分模型，让多张卡协作承载一个超大模型。
解决单卡显存放不下大模型的具体方案：
- 层内模型并行（Tensor Parallelism）：将单层的参数切分到多卡，每卡计算部分结果，再通过通信合并，Transformer的注意力头拆分到不同卡上。
- 流水线模型并行（Pipeline Parallelism）：将模型按层划分为多个阶段，每张卡负责一个阶段，数据按微批次流动，平衡各卡负载。
- 混合并行：实际中常将模型并行与数据并行结合，如3D并行（数据并行+流水线并行+张量并行），用于训练千亿级模型。
实操示例（Megatron-LM的模型并行）：
- 将Transformer的注意力层和MLP层切分到多张GPU,每卡只计算部分权重。
- 通过
f和g通信操作在正向和反向传播中同步中间结果。 - 需要编写专门的切分逻辑,对通信模式要求极高。
关键点： 模型并行引入大量片间通信，每次切分都需要通信合并，因此卡间互联带宽（如NVLink）直接影响性能，相比数据并行，模型并行对通信延迟更敏感，且代码复杂度明显更高。
多卡训练时数据并行和模型并行，哪个更适合你的场景
选择哪种并行策略,取决于你的模型规模、显存容量和训练目标，行业共识认为，没有绝对优劣，只有合适与否。
数据并行和模型并行怎么选
决策流程：
- 模型能否完整放入单卡显存？
- 是：优先考虑数据并行，因为代码简单，加速比高，且通信开销可预测。
- 否：必须使用模型并行或其变体。
- 显存不足但不想改动模型？
考虑模型并行,可能需要结合梯度检查点（activation checkpointing）进一步节省显存。
- 想要多卡训练但性能不理想？
检查通信瓶颈,数据并行下，小批量时通信时间占比大，可尝试增大批量；模型并行下，检查切分粒度是否合理，流水线是否平衡。
具体场景对比表：
| 维度 | 数据并行 | 模型并行 |
|---|---|---|
| 解决核心问题 | 单卡训练速度慢 | 单卡显存放不下 |
| 显存需求 | 单卡显存需容纳完整模型 | 单卡显存可小于模型，需切分 |
| 通信开销 | 梯度同步，通信量随参数规模线性增长 | 切分点需频繁通信，通信量取决于切分策略 |
| 训练速度 | 批量增大时加速比高 | 受流水线气泡或通信延迟影响，加速比通常低于线性 |
| 代码复杂度 | 低（框架原生支持，如DDP） | 高（需手动切分或依赖专用库） |
| 典型工具 | PyTorch DDP, Horovod | Megatron-LM, DeepSpeed, FairScale |
行业常见误区： 不少初学者认为多卡训练默认就是数据并行，遇到显存报错才考虑模型并行，现在大模型训练几乎都是混合并行，即在数据并行基础上叠加模型并行，以同时解决速度和显存问题。
组合使用：混合并行
当模型参数大到单卡放不下,且训练数据量极大时，数据并行和模型并行会组合使用，在训练GPT-3时，采用模型并行（张量+流水线）处理模型切分，同时外层叠加数据并行处理多批次数据，这种混合并行在业界被称为“3D并行”。
组合方式示例：
- 首先对模型进行流水线并行,按层切分到多个GPU组。
- 在每组内,使用张量并行进一步细分单层计算。
- 将多组GPU视为数据并行节点,并行处理不同批数据。
注意点： 混合并行需要精细调优通信和计算重叠，否则容易导致通信拥堵，多数情况下，框架如DeepSpeed提供了自动并行功能，但手动理解原理仍有助于调优。
多卡训练常见问题与优化策略
多卡训练显存不够怎么办
这是最常被问到的长尾场景,当模型无法装入单卡，且你又没有大规模集群时，有以下几种解决方案：
- 使用模型并行或流水线并行：将模型切分，但需要多张卡，且通信开销可能影响效率。
- 开启梯度检查点（Gradient Checkpointing）：以时间换空间，在前向传播时不保存中间激活值，反向传播时重新计算，可节省显存约50%，但增加约20%计算时间。
- 混合精度训练（FP16/BF16）：将模型参数和梯度用半精度存储，显存直接减半，且现代GPU支持加速。
- 使用ZeRO优化器（如DeepSpeed ZeRO）：将优化器状态、梯度、参数分片到多卡，相当于数据并行下的显存优化，无需模型切分即可训练超大模型。
实操路径： 在PyTorch中，使用torch.cuda.amp实现混合精度；在DeepSpeed中，配置zero_optimization stage 2或3，即可在不修改模型代码的情况下，用数据并行方式训练大模型。
多卡训练性能优化要点
- 通信与计算重叠：在数据并行中，使用异步梯度同步，让计算和通信并行，PyTorch DDP默认实现了重叠。
- 批量大小与学习率调度：数据并行时，总批量加倍，学习率也需要相应调整（线性缩放或平方根缩放）。
- 减少流水线气泡：流水线并行中，通过微批次划分和调度，保证各阶段尽量连续工作，减少空闲时间。
- 硬件选择：NVLink 或 InfiniBand 能显著降低模型并行中的通信延迟，如果卡间通信带宽不足，数据并行比模型并行更容易饱和。
关于多卡训练数据并行和模型并行的常见问题
问：数据并行和模型并行可以同时使用吗？
可以,业界主流的大模型训练均采用混合并行，即同时在数据维度上切分数据，在模型维度上切分模型，这种组合能同时解决显存和速度问题，但会增加代码复杂度和调试难度，框架层面，DeepSpeed、Megatron-LM等提供了开箱即用的混合并行策略。
问：多卡训练时模型并行比数据并行慢吗？
不一定,当模型能完全放入单卡时，数据并行更快，因为通信开销更小，当模型需要切分才能装入时，模型并行是唯一选择，但经过优化的流水线并行或张量并行，其效率可以接近数据并行，关键在于切分粒度：粗粒度切分（如流水线）通信量小，但存在气泡；细粒度切分（如张量并行）通信量大，但计算密度高。
问：我只有2张卡，应该用数据并行还是模型并行？
如果模型能放入单卡,优先数据并行，简单高效，如果模型显存大于单卡但小于两张卡合，可以尝试模型并行，但2卡场景下模型并行加速效果有限，因为通信与计算比不理想，更实用的做法是使用单卡训练，或开启梯度检查点与混合精度，将模型适配到单卡，再考虑数据并行多卡加速，如果模型实在塞不进，2卡模型并行也比单卡强，但需要忍受通信延迟。