缓冲池负载均衡

资讯

推理请求不均匀时平台如何用缓冲平滑负载波动，如何平滑负载波动

平台通过引入缓冲队列或缓冲池，将不均匀的推理请求临时存储并有…