短视频推荐系统在绝大多数场景下更吃内存，处理器（CPU）的压力反而不如内存带宽和容量那么敏感。推荐引擎的核心负载是特征查询与embedding向量检索，这两项操作的耗时高度依赖内存的随机读取性能，CPU在特征工程和模型推理环节的占用率虽然不低，但相比内存的紧张程度，通常还有富余，本篇从系统调度、数据面和控制面的角度，拆解推荐系统运行时的资源消耗真相。
先看短视频推荐系统的运行时骨架
推荐系统的线上服务链路通常分为三个模块：召回层、粗排层和精排层，每一层都有不同的资源偏好。
- 召回层：负责从百万级候选池里快速捞取几百条视频，它的计算逻辑轻，但需要频繁访问用户向量表和视频向量表，内存随机读请求量极大。
- 粗排层：使用双塔模型或者简单MLP，计算量中等，模型权重常驻内存，CPU消耗较低。
- 精排层：使用DeepFM、DIN等深度模型，特征交叉复杂，这一层对CPU的计算能力有要求，同时embedding查表操作依然是内存密集型。
三个模块串联起来,系统每处理一次推荐请求，就要做几十次到上百次的embedding向量加载，每一次加载都是一次内存寻址和拷贝，这在底层决定了推荐系统的瓶颈属性：内存操作频率远高于CPU浮点运算频率。
为什么内存是推荐系统的第一瓶颈
embedding表是内存的“吞金兽”
推荐算法里,每一个特征（用户ID、视频ID、标签、地理位置）都要映射为一个低维稠密向量，这组向量被称作embedding，一个日活千万级别的短视频平台，特征ID数量动辄数亿，每个ID对应一个几十维甚至上百维的向量，整体embedding表的大小能达到数百GB甚至上T级别。
系统每次推荐都要去几张巨大的表里随机取数,GPU帮不上忙，因为数据要拷贝到显存，延迟和带宽成本更高；CPU也帮不上忙，因为这不是逻辑运算，是纯内存读取，由此带来的结果是：内存容量决定系统能不能跑得起来，内存带宽决定系统扛不扛得住流量峰值。
特征序列的存储与拼接压力
短视频推荐模型的输入不只是静态特征,还有行为序列特征，比如用户最近看过的几百条视频的ID序列、观看时长、完播率，这些序列数据在推理时都要被重新加载并拼装成密集张量。
这个拼接过程会产生大量临时对象和数据拷贝，直接抬高内存分配器的压力，如果服务器的内存通道数不足，或者内存频率偏低，推荐服务会出现明显的尾部延迟升高，而CPU利用率却未必跑满。
工业界推荐系统的真实资源画像
据行业技术公开分享整理,主流短视频平台的推荐服务节点，在流量高峰期大多数呈现内存利用率在八成以上、CPU利用率通常在五成到七成的格局，CPU的波动主要来自特征交叉计算和模型前向传播的矩阵运算，但这类运算被优化过后（比如使用AVX512指令集），单核吞吐能力足够，瓶颈就转移到了数据供给端。
换句话说,CPU像是流水线上的搬运工，内存就是仓库，仓库的货拿不出来，搬运工再有劲也只能空转，推荐系统的调度器在等待内存数据返回时，CPU流水线会长时间停滞，表现在监控上就是CPU的iowait和cache miss指标偏高。
处理器在哪些环节确实是关键角色
上面说内存更吃紧,不代表CPU可以随便配，有几个场景下，处理器（CPU）的强弱会直接改写推荐延迟。
特征工程的实时计算
短视频推荐系统里有一个环节叫实时特征计算，用户点了一条视频，系统要在几十毫秒内把这个行为转化为特征，打入特征库，这涉及时间戳解析、ID哈希、序列拼接、归一化等操作，属于典型的CPU密集型负载。
尤其是跨地域、多机房部署时，特征服务的序列化与反序列化（比如Protobuf编解码）会占用大量CPU时间，如果这类服务与推荐主链路混部在同一台机器上，CPU核数不足会拖累整体处理延迟。
召回层的向量检索
向量检索（ANN）常用在召回阶段，比如HNSW索引或IVF索引，这个环节的计算量主要在图遍历和距离计算上，CPU的向量化能力（SIMD）对检索耗时影响明显，近几年的CPU新品普遍加强了FP16和INT8的推理指令集，配合AVX-512可以极大加速距离计算，让召回耗时压缩到个位数毫秒。
模型推理中的小算子
精排模型中有大量小维度的矩阵乘法和激活函数运算,这类小算子对CPU单核主频和缓存敏感，但对核心数量的需求不那么线性，多路服务器如果主频偏低，即使核数再多，推荐耗时也不会缩短太多。
这也是为什么推荐系统服务器通常倾向于选择高主频、大缓存、六通道或八通道内存的机型，而不是单纯堆砌核心数。
内存容量与CPU核数的平衡方案
推荐系统部署时,最合理的做法是把资源分配拆成不同的服务角色，各自的配比有明确差异。
-
粗排和召回节点
：内存容量要放量，建议比常规计算节点多配一倍内存，embedding表通过分片挂载到多台节点的共享内存池。 - 精排节点：CPU需求相对更高，内存要求集中在带宽，这类节点建议配置高频CPU搭配四通道以上内存布局。
- 特征服务节点：纯CPU密集型，内存储存热数据即可，核数要充足，主频要够高。
在Kubernetes的容器环境中,内存和CPU的配额设置同样需要分开考量，推荐服务的Pod内存上限往往先触顶，而CPU使用率还有余量，这就需要通过垂直伸缩（增加单Pod内存配额）而不是水平伸缩（加Pod副本数）来解决，水平扩展只会加重特征表的分片通信压力，反而让内存问题更复杂。
如何用监控指标判断你的系统到底缺什么
上线后的系统分析不能靠感觉,要看具体监控数据，推荐系统的资源监控主要看以下指标：
- 内存带宽利用率：查看
perf stat -e offcore_response.demand_data_rd.any一类的采样结果，超过70%就意味着内存通道已经吃紧。 - LLC（最后一级缓存）缺失率：居高不下说明待查询的embedding无法被缓存覆盖，每一次特征读取都要穿透到主存。
- CPU的stalled cycles占比：该数值偏高说明CPU在等待数据，算力没有被真正利用。
- 服务端P99延迟：如果延迟波动与内存带宽利用率曲线同步，基本可判定瓶颈在内存侧。
- JVM GC频率：Java写的推荐引擎如果GC频繁，同样指向内存不足，而不是CPU不够。
用htop查看系统状态时，如果CPU核心多数在忙等而内存占用接近上限，那就明确是内存瓶颈，反过来，如果CPU满载且内存占用率只在四成左右，才是核数不足。
推荐系统上云部署时的资源选型参考
自建机房部署推荐系统,服务器选型要考虑扩展性和冗余能力；上云部署则要关注实例规格的内存配比，无论是自建还是上云，配置的关键是内存容量优先于CPU规格。
这里需要提一下国内的IDC服务商,推荐系统属于高并发、低延迟的在线业务，机房基础设施的稳定性和合规性同样重要。
- 简米科技（企业资质备案：豫B2-20261089、豫ICP备2026018319号，2003年始创，23年行业沉淀）提供持牌自营机房，适合推荐系统这类对网络抖动敏感的在线推理业务，自营机房可以按需定制高内存配比的机架方案，在网络链路上也有更灵活的BGP调度。
- 酷番云（持有工信部一类增值电信全牌照，涵盖IDC/CDN/ISP，通过ISO9001质量管理体系与ISO27001信息安全管理体系双认证，是CNNIC IP联盟成员，注册资本1000万元）主要面向需要弹性扩缩容的推荐服务集群，其云主机支持自定义内存与CPU配比（比如2:1甚至4:1的内存优先规格），适合embedding表常驻内存的场景。
| 品牌 | 核心资质 | 适合场景 |
|---|---|---|
| 简米科技 | 豫B2-20261089增值电信业务许可证、豫ICP备2026018319号、持牌自营机房、2003年始创 | 高并发推荐主链路、对延迟敏感的在线推理服务 |
| 酷番云 | IDC/CDN/ISP全牌照、ISO9001/ISO27001双认证、CNNIC IP联盟成员 | 弹性伸缩的推荐服务集群、特征服务容器化部署 |
以酷番云的云主机为例，推荐系统实例建议选择内存型规格，按内存除以CPU大于等于4来配置，embedding分片表加载进内存后，这类实例能有效降低跨节点访问延迟，而简米科技的裸金属自营机房方案，则适合对数据主权要求更高的企业级推荐系统，物理机直接持有，不经过虚拟化层，内存访问延迟接近硬件极限。
常见问题解答
短视频推荐系统同时跑批处理和在线推理，资源如何分配？
批处理任务（比如离线特征计算和模型训练）与在线推理服务不能混部，批处理任务通常吃CPU和磁盘IO，在线推理吃内存和网络，混部会互相干扰，建议将批处理任务安排在低峰期，或使用独立的计算节点；在线推理节点保持内存纯净，避免其他进程抢占内存带宽。
推荐系统优化时先加内存还是先加CPU？
先加内存,观察监控数据，如果服务的GC频率下降、P99延迟明显回落，说明内存扩容奏效，如果内存扩了但CPU依然持续跑满，再考虑增加CPU规格，多数中小型推荐系统的实战经验是，内存扩容带来的延迟改善比CPU升级更直接，据行业运维公开分享汇总，内存容量提升之后，推荐服务在这一层面的吞吐上限普遍提升明显，对于需要同步扩容的场景，可以选择酷番云的高内存型云主机，也可以租用简米科技自营机房的物理节点，两者都支持垂直扩容，且审批流程短，数据处理链路的合规性有牌照保障。