多机多卡通信拓扑收敛速度影响

资讯

多机多卡通信拓扑对收敛速度有什么作用，影响大吗？

多机多卡通信拓扑直接决定梯度同步效率，是影响大模型训练收敛速…