分布式训练通信拓扑优化

资讯

多机多卡通信拓扑对收敛速度有什么作用，影响大吗？

多机多卡通信拓扑直接决定梯度同步效率，是影响大模型训练收敛速…