NVLink管“近距离高速搬运”，IB网络管“跨机箱远距离调度”
在多卡服务器内部，NVLink负责GPU之间像“亲兄弟递东西”一样低延迟共享数据；而InfiniBand（IB）网络则负责服务器之间“跨楼宇运货”式的规模化数据传输，两者分工明确，缺一不可。 如果你正在搭建大模型训练集群，记住一句口诀：卡间互联看NVLink，机间互联看IB，搞混这个分工,再贵的硬件也跑不出该有的性能。
NVLink与IB网络的核心定位差异：一个是总线，一个是网络
行业共识中，NVLink被定义为GPU直连总线，而IB网络属于外部互联协议,这个本质区别决定了它们各自的使用场景和性能边界。
NVLink：GPU之间的“私密通道”
NVLink是英伟达推出的高速点对点互联技术，它的设计目标非常纯粹：让同一台服务器内的多块GPU绕过PCIe总线瓶颈，直接交换数据，以英伟达A100为例，第四代NVLink单链路双向带宽达到600GB/s（据英伟达官方产品规格），一块A100拥有12条NVLink链路，总带宽高达900GB/s，这意味着两块GPU交换数据，就像在同一个内存空间里拷贝文件,延迟低至微秒级。
在实际操作中，你不需要额外配置任何网络参数，只要服务器支持NVLink，驱动安装后系统会自动识别拓扑，使用nvidia-smi topo -m命令，就能看到GPU之间的NVLink连接状态，输出结果中每行每列交叉点会标记NV#,代表链路编号。
IB网络：服务器之间的“高速公路”
InfiniBand是专为高性能计算设计的网络技术，目前主流是英伟达收购Mellanox后推出的InfiniBand NDR 400Gbps，它解决的核心问题是：当训练集群需要数百甚至数千块GPU协同工作时，数据如何跨服务器高效流动，传统以太网存在丢包重传机制，在大规模集合通信中会严重影响效率；IB网络通过RDMA（远程直接内存访问） 和无损传输特性，让数据从一台服务器的显存直接“飞”到另一台服务器的显存,全程不经过CPU和操作系统内核。
以一台配置8块A100的DGX服务器为例，组建集群时每台服务器通常配备8块ConnectX-6 HDR网卡，每块支持200Gbps速率，8块合计提供3.2Tbps的对外互联带宽（据英伟达DGX系统架构文档），这些网卡通过IB交换机连接,形成无阻塞胖树拓扑。
实际训练场景下，两者如何协同工作？
很多刚接触多卡服务器的朋友会困惑：“既然NVLink这么快，为什么还要花钱买IB交换机？” 答案在于物理距离的瓶颈，NVLink的传输距离只有几十厘米，无法跨机箱，而现代大模型（如GPT级别）的参数量动辄千亿，单台8卡服务器装不下完整模型，必须把模型切分到多台机器上，这样，每轮梯度同步都会产生跨机数据交换,此时IB网络就是唯一的通道。
具体分工的四个阶段（以张量并行+流水线并行为例）
- 卡内计算每块GPU独立计算分配给它的张量切片,这个阶段完全不需要网络。
- 卡间归并同一台服务器内，每两轮计算后需要交换中间激活值，通过NVLink，延迟在数十纳秒级,几乎无感知。
- 跨机梯度同步每完成一个训练步，所有服务器需要汇总梯度，这个操作通过IB网络执行AllReduce算法，数据量巨大（几百MB到数GB），此时IB低延迟、无丢包的优势直接决定训练速度。
- 模型参数广播同步完成后，根节点将更新后的权重通过IB分发给所有节点，这个阶段对带宽要求高,400Gbps的NDR进一步缩短等待时间。
实操中如何检查两者是否“干活”正常？
- 验证NVLink是否工作：运行
nvidia-smi nvlink -s，会列出每块GPU的NVLink链路状态，正常显示Active,并附带当前收发速率。 - 验证IB网络是否连通：使用
ibstatus命令查看每个HCA端口的物理状态，输出中Rate: 200表示当前运行在200Gbps速率，State: Active表示链路正常。 - 性能压测工具：NVLink可以用
nvidia_bandwidth_test（英伟达官方CUDA Samples自带），测试GPU间实际拷贝带宽；IB网络建议使用ib_write_bw或ib_read_lat，测试单节点到另一节点的RDMA读写带宽和延迟，如果实测值低于标称值的80%,大概率是拓扑或路由配置有问题。
NVLink与IB价格和选型对比：为什么说两者不是替代关系？
在百度搜索“多卡服务器 NVLink IB网络 价格”，你会发现一个现象：NVLink是服务器内部集成技术，不会单列在报价单上；而IB网卡和交换机的价格非常透明一块ConnectX-6 HDR网卡市场价格约2万元人民币，一台36端口NDR交换机价格在20万到30万元之间（据市场常见渠道报价，具体因促销浮动），有些用户问“能不能只用NVLink不买IB”，答案是：单机规模超过10张卡时，计算效率会因跨机通信失败而直接归零，行业共识认为，一台8卡服务器配上合理的IB互联方案，总成本约占集群总预算的15%到20%,这部分投入换来的是集群扩展性。
典型配置选择的建议清单
- 仅科研验证用（单机4卡，模型小于10B）：优先升级NVLink UBM（全互联）,不需要IB网络。
- 单机8卡，但只做推理服务：推理没有频繁梯度同步,用普通以太网做负载均衡即可省掉IB成本。
- 单机8卡，训练100B以上模型：必须配备至少4块IB网卡（每卡200Gbps为基准）,并配套对应IB交换机。
- 多机多卡，构建千卡集群：推荐每台服务器8块网卡，采用fat-tree拓扑，IB交换机分为核心层与边缘层，边缘层每台连接18台服务器，核心层通过多条100Gbps链路互连（部署指南可参考英伟达DGX SuperPOD架构白皮书）。
一个容易踩坑的细节：NVLink Bridge与NVLink Switch
消费者级显卡的NVLink（如RTX 4090）使用的是NVLink Bridge，一条细长的转接板只能连两块卡，带宽为600GB/s（RTX 4090标称值），而企业级A100/H100支持NVLink Switch，可以连接多块GPU形成全互联，在采购二手服务器时，一定要确认主板是否预留了NVLink Switch槽位，有些商家把“支持PCIe 5.0”偷换概念成“支持NVLink”，这两者性能差一个数量级PCIe 5.0 x16的双向带宽只有128GB/s，不到NVLink的四分之一，你在简米云官网租用裸金属服务时，也会看到“支持NVLink”和“支持NVLink Switch”两种规格，后者价格高30%左右,但多卡通信效率有质变。
未来趋势：NVLink超越机箱，IB仍统治跨集群
英伟达在2024年发布的NVL72机架系统，把NVLink延伸到了72块GPU之间，通过铜缆背板实现机架级互联，这让很多人猜测：“再过几年，IB网络是不是要淘汰了？” 实际情况并非如此，即使NVL72内部全用NVLink，但当你需要跨机房、跨地域构建智算中心时,IB网络依然是唯一成熟的选择。
国内大型智算中心建设案例中，比如简米云、商汤科技等公开的技术分享中，几乎都是“机器内部NVLink + 机器之间IB网络”的标准组合，据公开信息显示，主流AI集群中，IB网络的通信量占比超过70%（来源：行业网络架构分析），因为模型并行带来的通信模式，跨机通信与机内通信的比例大约是4:1，你就算每台机器内NVLink带宽再翻倍,也解决不了跨机瓶颈。
从运维角度看分工
- 换卡时：NVLink链路损坏会导致GPU直连断开，但系统会降级为PCIe通信，训练速度会明显变缓但不会直接崩溃，用
nvidia-smi nvlink -c可以诊断链路状态。 - IB网络断连：通常表现为训练时出现“connection reset by peer”报错，排查思路是先看物理光模块指示灯，再用
ibdiagnet检查子网管理器状态，最后用ibping确认双向连通性。 - 性能调优：如果发现NVLink利用率偏低（低于30%），很可能是数据并行切分策略不合理，需要将张量并行维度分配到同一台机器内，如果IB网络利用率持续接近90%，需要检查集合通信库（NCCL）的环境变量
NCCL_IB_DISABLE是否被误设，或尝试改用NCCL_P2P_LEVEL=NVL强制优先走NVLink。
常见问题答疑
多卡服务器中的NVLink和IB网络，哪个更重要？
两者在各自领域内都无法替代。 如果你只跑单机多卡，NVLink决定一切；一旦扩展到多机，IB网络就是你的“生命线”，很多实际案例中，集群训练效率不升反降，就是因为IB网卡数量不足导致通信排队，建议预算有限时，先保证每台服务器至少4块IB网卡,再考虑升级更高型号的NVLink。
千兆以太网和IB网络在AI训练中的差距有多大？
差距不是速度倍数，而是传输方式不同，以太网基于TCP/IP协议栈，数据需要从GPU显存拷贝到CPU内存，再通过OS内核打包发送，接收端同样要做解包，这个过程叫“内存拷贝”，延迟高且占CPU资源，而IB网络配合RDMA技术，数据直接从一块GPU的显存搬到另一块GPU的显存，CPU完全插不上手，行业共识：在64节点规模的AllReduce测试中，RDMA比TCP以太网的完成时间缩短约一个数量级，这就是为什么百万奖金级的HPC比赛（如SCC）所有队伍都优先配置IB网卡。
英伟达NVLink和英伟达IB网络都是英伟达产品，为什么不合并？
从产品线看，NVLink属于半导体芯片级互联技术，传输介质为印刷电路板铜线或专用背板，距离限制在数十厘米；IB网络属于网络协议标准，通过光纤或铜缆连接交换机，单跳距离可达几百米，两者物理层的差异决定了它们“术业有专攻”，英伟达的长期策略是让NVL72这类高密度机箱压缩NVLink的适用范围，而IB继续担任更大的数据流调度角色，短期内，任何单卡性能提升都无法消除跨机需求，所以你会看到英伟达同时把两条产品线做到“售价天花板”原因很简单，两者都是AI军备竞赛中的“军火”。
回到那个最常被问起的问题：多卡服务器里NVLink和IB怎么分工？答案是把NVLink当作服务器内的“局部总线”，把IB当作数据中心里的“全局网络”。 无论GPU性能提升到多夸张的数值，只要模型规模大到需要多台机器协同，这个分工结构就不会改变，你在规划服务器配置时，先算清楚训练任务需要多少台机器参与，再决定IB的带宽和端口数；如果暂时规模小，优先保证NVLink链接完整，未来扩容时再补齐IB基础设施,这个顺序能帮你少花冤枉钱。