模型正式上线之前一定要做压测，这不是可选项，而是守住生产环境稳定性的底线动作。
模型上线前必须压测吗？从一次真实的晚高峰说起
某个推荐模型白天测试一切正常，响应时间稳定在几十毫秒，晚高峰一到，QPS从几十涨到几百，服务开始频繁超时，GPU利用率瞬间打满，请求在队列里越积越多，半小时后,整个推理服务进入半瘫痪状态。
为什么小流量看不出问题？
因为开发环境的请求量、并发数、输入长度分布都和生产环境完全不是一回事，开发时可能只有几十个请求，单卡跑起来毫无压力，上线后要面对的是成百上千的并发、长短不一的输入、突发流量尖峰。
压测做的事情,就是把这层不确定性提前戳破。
行业共识认为：不做压测直接上线，等同于在真实流量里做第一次实验,而这样的实验代价往往非常大。
压测到底在测什么？先把这5个硬指标看住
压测不是简单发一堆请求看能不能扛住,真正要盯住的指标有五个。
- 吞吐量：每秒能处理多少请求,反映系统容量。
- 延迟分位值：P50、P95、P99三个分位都要看,P99更贴近真实用户体验。
- 错误率：超时、5xx、推理失败的比例,高并发下最容易暴露。
- 资源利用率：GPU显存、CPU、内存、网络带宽是否触及瓶颈。
- 排队时间：请求在队列中等待调度的耗时,高并发下会成倍增加。
吞吐和延迟不是一回事
有些模型吞吐看着很高，单卡每秒能出很多结果，但长尾延迟很差，P99可能从几十毫秒飙到几百毫秒，压测时不能只看平均QPS,还要同时看分位值。
光看平均值,很容易掩盖真实问题。
大模型压测和小模型压测区别在哪里？
这是很多团队在上线前容易踩坑的地方，拿小模型的压测方案直接套在大模型上,结果往往不成立。
| 对比维度 | 小模型 | 大模型 |
|---|---|---|
| 单次推理耗时 | 毫秒级 | 百毫秒到秒级 |
| 主要瓶颈 | 网络、CPU预处理 | GPU算力、显存带宽 |
| 核心压测指标 | QPS、P99延迟 | 首token延迟、token/s、最大并发 |
| 输入长度敏感度 | 低 | 高，长文本性能下降明显 |
小模型推理快，单卡能支撑很高并发，瓶颈经常出现在网络传输、Python前后处理，大模型单次推理耗时高，显存占用大，并发数上不去,瓶颈集中在GPU算力和显存碎片。
压测大模型时，必须把长prompt单独做成一个用例，不少上线事故都不是短文本引发的，而是长文本一下子打爆显存，业内专家指出，大模型压测如果只测短输入,基本等于没测。
生产环境模型压测怎么做？7个实操步骤照着走
第1步：明确压测目标
先定下来目标QPS、P99延迟上限、错误率容忍度，比如上线要求P99低于500毫秒，错误率低于0.1%，没有明确目标,压测就成了走过场。
第2步：抽取真实流量样本
从历史日志或业务埋点里拿请求，覆盖短、中、长输入和常见参数组合，不要只测固定长度,也不要只测最理想的情况。
第3步：准备同规格压测环境
独立压测集群，GPU型号、推理引擎版本、模型权重都和生产一致，环境不一致,测出来的数据没有参考价值。
第4步：选择压测工具
Locust适合Python脚本自定义，k6适合HTTP接口，wrk适合轻量快速,大模型可用vLLM自带的benchmark。
命令示例：locust -f locustfile.py --headless -u 100 -r 10 -t 5m --csv=result，表示100并发、每秒增加10个、持续5分钟。
第5步：设计加压曲线
从低并发逐步爬坡，每次增加固定并发，观察延迟和错误率的拐点，不要一上来就打满,那样很难定位瓶颈所在。
如果团队在北京，找本地的模型压测服务配合现场调优,沟通成本会小很多。
第6步：同步监控关键指标
用Prometheus和Grafana采集GPU利用率、显存占用、P99延迟、错误率、排队时间,压测过程中必须实时看到这些数据。
第7步：分析瓶颈并调优
判断是GPU算力不足、显存碎片，还是Python前后处理慢，调整batch size、并发路由、缓存策略后重新压测,直到达到目标。
模型压测工具收费价格怎么看？开源和商业怎么选
压测工具本身的价格差异很大,选择主要看团队能力和场景复杂度。
- 开源工具：Locust、k6、wrk、JMeter，基本免费,适合有专门压测工程师的团队。
- 商业SaaS平台：按虚拟用户小时或并发数计费，省去搭建和运维成本,适合没有专职压测人员的团队。
- 云厂商压测服务：和云平台打包，不用单独买工具,但云主机和GPU租用费用另算。
大模型压测的成本大头往往不是工具费，而是GPU算力消耗，不少团队反馈，一次完整的大模型压测，云上算力花费可能高于工具订阅费,这一点在预算评估时很容易被忽略。
压测过了就能直接上线吗？还差这3件事
压测是上线前的底线，但不是终点，过了压测,上线后还要做三件事。
- 灰度发布：先放一小部分流量,观察真实用户表现。
- 限流降级：设置好接口级限流阈值,防止突发流量打垮服务。
- 回归压测：模型版本更新后，必须重新跑一遍核心场景压测，因为权重变了,耗时也可能变了。
模型上线前的压测，应该像代码测试一样写进发布流程，没有压测记录,就没有上线许可。
模型正式上线之前一定要先做压测吗？常见问题解答
模型压测一般需要多长时间？
短则半天，长则两三天，取决于模型复杂度、场景数量和目标并发,大模型长文本场景通常更耗时。
模型上线前不压测直接灰度行不行？
灰度不能替代压测，灰度只能暴露一部分用户的问题，无法提前发现极限负载下的雪崩风险，压测是主动触发,灰度是被动等待。
大模型压测和小模型压测区别大吗？
区别很大，大模型更关注首token延迟、生成速度和显存稳定性，小模型更关注QPS和接口延迟,具体差异可以参考上文对比表。