数据并行与模型并行区别

资讯

多卡训练时数据并行和模型并行分别解决什么问题，如何选择最优并行策略

多卡训练时，数据并行解决的是单卡训练速度慢的问题，模型并行解…