多模型推理实例效率提升

资讯

多个小模型合并部署到同一推理实例的优化思路，如何提升推理效率？

把多个小模型合并部署到同一推理实例，核心不是把权重文件硬塞进…