过去大家看 AI 基建，只盯着 GPU 芯片、单卡算力，觉得只要堆足够多加速卡就能跑大模型，但是随着模型参数越来越大、集群扩张到万卡、十万卡级别，分布式训练需要大量 GPU 之间不停交换梯度、参数、KV 缓存，通信耗时占比持续走高，网络不再只是简单的传输管道，而是整个 AI 计算链路里的核心一环，网络的带宽、抖动、丢包、拥塞控制，直接决定集群算力利用率，哪怕 GPU 再强，只要网络跟不上，大量昂贵的加速卡就会空转等待，算力白白浪费，同时跨集群调度、跨地域算力调度、边缘推理、智能体之间互通，全部都依赖网络能力，所以 AI 基础设施已经从 “以计算为中心”，慢慢演变成一个以网络调度、互联协同为核心的网络问题。
一、传统 IT 网络和 AI 智算网络需求对比表
| 对比项 | 传统互联网 / 云计算业务 | AI 大规模训练、MoE 推理业务 |
|---|---|---|
| 流量特征 | 南北向流量为主，突发分散 | 东西向流量为主，超大长流（大象流），集中爆发 |
| 核心指标 | 带宽足够、能连通即可 | 低时延、极低抖动、无损传输、零丢包 |
| 通信模式 | 请求响应，独立交互 | All-Reduce、All-to-All 集体同步，强同步依赖 |
| 故障影响 | 单请求失败，影响有限 | 微小丢包、抖动会让上万卡同步停滞，整体算力利用率暴跌 |
| 主流网络 | 普通以太网 | InfiniBand、RoCE 无损 RDMA 高速网络 |
二、AI 基建变成网络问题的 4 个核心原因清单
- 分布式训练是强同步通信场景。大模型训练需要多卡实时同步梯度，MoE 架构还要频繁路由激活数据，通信占比很高，千卡集群通信耗时普遍 30% 以上，超大规模 MoE 模型甚至超过 50%，计算在等数据，网络直接卡住整个训练任务。
- 网络抖动会被大规模集群指数放大。传统业务能容忍几十毫秒延迟波动，AI 集体通信不一样，木桶效应明显，最慢的那一张卡、那条链路，会拖慢全部 GPU，造成大量算力闲置，算力利用率经常卡在 40%-55% 区间，很难跑满理论算力。
- 算力资源调度越来越依赖跨域网络。现在算力不再集中在单一机房，跨智算中心调度、东数西算跨区域算力协同、算力池化、弹性扩缩容，都需要长距离无损互联，没有高质量网络，分散的算力就没法拼成一个统一的算力资源池。
- 推理、智能体业务进一步拉高网络复杂度。大模型在线推理的 KV 缓存池共享、多智能体互相调用、工具调用、跨云模型协作，会持续产生大量高频交互流量，对网络隔离、流量调度、安全审计、服务质量都提出全新要求，不再是单纯的机房内部互联问题。
三、AI 网络和普通网络不一样的硬性要求
- 必须支持无损传输，RDMA 是主流技术路线，绕过 CPU 直接内存读写，减少数据拷贝开销，普通以太网很容易丢包，一旦丢包，AI 训练任务性能断崖式下跌。
- 扁平化拓扑，减少交换机层级，降低转发延迟，Fat-Tree、Dragonfly 这类专门给 AI 集群设计的网络拓扑，而不是传统三层网络架构。
- 精细化拥塞控制，AI 流量流量巨大、流量模式特殊，普通拥塞算法不适用，需要专门针对集体通信的流量调度。
- 网络要和模型、算力硬件协同设计，不是先买 GPU 再随便配交换机，模型并行策略、分片方式，都要提前匹配网络拓扑。
四、行业落地的主要卡点
- 高速互联设备供给压力大，IB 网卡、交换机成本高，供应链约束明显，国产高速网络还在大规模落地阶段。
- 运维难度陡增，AI 集群网络故障定位难，流量可视化、故障排查工具不足，一条链路异常，定位排查周期很长。
- 跨地域长距离无损网络难度高，长距离传输更容易出现误码、抖动，很难做到和机房内一样的通信质量。
- 成本矛盾突出，为了满足网络需求，交换机、光模块、线缆配套投入会占到整个集群硬件投入很高比例。
五、产业应对思路
- 集群内部优先采用无损 RDMA 网络，选择适配 AI 流量的拓扑，控制抖动和丢包，提升算力利用率。
- 模型层面做通信优化，通过 MoE、模型量化、通信压缩、算子优化，降低对网络带宽的依赖，实现计算和通信平衡。
- 建设算力网络调度平台，把分布在不同区域的智算节点，通过专用光纤、波长专线打通，实现算力按需调度。
- 同步推进国产高速互联协议、交换芯片、网卡，降低对外依赖，保障 AI 基础设施自主可控。
六、后续跟踪重点信号
- 国产 RoCE、IB 高速网络大规模商用落地案例
- 面向 AI 的新型网络协议、拓扑架构迭代
- 跨区域算力网络调度平台的落地效果
- 光模块、高速交换机成本下降节奏
- MoE 模型、通信优化算法对网络压力的缓解效果
【相关 FAQ】
问题 1：人工智能基础设施正在转向网络驱动，算力集群的核心瓶颈已经变成网络问题，为什么 AI 基础设施会演变为一个网络问题？
回答 1：人工智能基础设施正在转向网络驱动，算力集群的核心瓶颈已经变成网络问题，因为万卡、十万卡规模的大模型分布式训练，GPU 之间需要高频同步梯度和参数，通信耗时占比很高，网络的抖动、丢包会直接造成大量算力闲置，加上跨地域算力调度、智能体互通等新需求，网络从配套管道变成整个 AI 系统的核心约束。
问题 2：人工智能基础设施正在转向网络驱动，算力集群的核心瓶颈已经变成网络问题，AI 集群网络和普通云计算网络最大差别是什么？
回答 2：人工智能基础设施正在转向网络驱动，算力集群的核心瓶颈已经变成网络问题，普通云计算网络以南北向访问流量为主，重点保证连通；AI 集群网络以机房内部东西向集体通信为主，对无损传输、极低抖动、零丢包有硬性要求，微小故障会拖累上万张 GPU 同步任务。
问题 3：人工智能基础设施正在转向网络驱动，算力集群的核心瓶颈已经变成网络问题，什么是 AI 集群主流的高速网络方案？
回答 3：人工智能基础设施正在转向网络驱动，算力集群的核心瓶颈已经变成网络问题，目前主流是基于 RDMA 的 InfiniBand 和 RoCE 无损以太网，绕过 CPU 直接内存读写，减少数据拷贝，专门适配大模型 All-Reduce、All-to-All 这类高频同步通信场景。
【参考资料】
[2026-03-25]（Addressing the Ethernet Bottleneck in AI）ACM 通信
[2026-03-12]（打赢 AI 算力规模战，推动国产集群高速互联技术发展）新华网
[2026-03-26]（AI 计算节点发展研究报告（2026 年））中国信息通信研究院
[2026-05-26]（万卡集群网络选型：国产 IB 批量出货，改写行业性价比规则）电子工程专辑
[2026-11-06]（The Internet's New Factories）RIPE Labs
【免责声明】
以上内容来自行业白皮书、权威研究院报告、技术期刊公开资料整理，AI 网络技术路线、性能指标会随芯片、协议迭代持续变化，内容仅作为产业科普，不构成集群组网方案、设备采购的技术决策依据，大规模智算集群组网方案需要结合模型类型、并行策略、预算和运维能力综合评估。