蒸馏训练计算资源节省

资讯

大模型蒸馏训练如何节省算力？蒸馏降低算力消耗方法，算力节省途径详解。

大模型蒸馏训练能省下相当一部分算力，核心途径是“让小学生直接…