推理业务显卡占用时长

资讯

做推理业务是不是需要一直占着显卡？推理业务占用显卡时间多久？

做推理业务不需要一直占着显卡，但显存必须始终锁定，算力则可以…