华为算网存协同调优方案：用智能体打通AI训练推理的瓶颈

算网存协同：AI基础设施的调优新思路

AI训练和推理对算力、网络、存储的协同要求越来越高。华为提出的多维协同调优方案，核心思路是把这三个层面当成一个整体来优化，而不是各自为政。

传统做法里，计算、网络、存储往往由不同团队维护，调优也是分开进行。训练任务慢了，算力团队加GPU；网络拥塞了，网络团队扩带宽。这种割裂的优化方式，很容易陷入"按下葫芦浮起瓢"的困境——算力上去了，网络成了瓶颈；网络疏通了，存储又跟不上。

华为的解法是让智能体（Agent）来统筹。iMaster NCE和iMaster CCAE分别构建网络智能体和优化智能体，主动识别系统中的隐性劣化点，通过算网调优、算存调优、网存调优、软硬协同调优等多种手段，形成端到端的调优闭环。

训练场景的痛点：Hash算法浪费网络运力

AI训练效率受限于网络吞吐，这是个老问题。模型参数需要在大量GPU之间同步，网络稍有波动，训练速度就大打折扣。

传统网络使用Hash算法做负载均衡。问题是，Hash算法根据五元组（源IP、目的IP、源端口、目的端口、协议类型）计算哈希值，把流量固定分配到某条路径。这种静态分配无法感知实际业务负载，经常出现某些链路拥塞、另一些链路空闲的情况。

更麻烦的是，AI训练的网络流量特征跟普通业务完全不同。训练任务通常是周期性的突发流量，AllReduce通信模式会产生大量同步数据。Hash算法对这种流量模式缺乏适应性，网络运力利用率往往只有60%-70%，大量带宽被浪费。

NSLB：让网络路由"看懂"训练任务

华为iMaster NCE的NSLB（Network Scale Load Balance）技术，试图让网络层感知上层计算任务。

具体做法是：计算节点和网络节点之间建立信息通道，训练任务启动时，把通信特征（流量大小、时序模式、优先级）同步给网络。网络智能体基于全域通信信息，实时计算最优转发路径，动态调整交换机配置。

这相当于把传统的"盲转发"变成"智能调度"。网络不再只是被动承载流量，而是主动配合计算需求，实现路由与训练负载的亲和。根据华为的数据，这种协同可以把网络吞吐率提升到95%以上。

实现这个效果需要解决几个技术难点。首先是信息采集的实时性，训练任务的通信模式可能在毫秒级变化，网络必须快速响应。其次是路径计算的规模，大规模集群中可能的转发路径数量是指数级的，需要高效的算法在可接受时间内找到近似最优解。最后是配置下发的可靠性，网络设备配置变更不能影响正在运行的训练任务。

推理场景的新挑战：PD分离与专家并行

大模型推理比训练更复杂。训练可以容忍一定延迟，只要吞吐够高，整体效率就能保障。推理直接面向用户，延迟和吞吐必须同时优化，还要考虑成本。

当前主流的大模型推理架构采用PD分离（Prefill/Decode分离）。Prefill阶段处理输入提示，计算量大但并行度高；Decode阶段逐个生成token，计算量小但依赖性强。两个阶段对硬件资源的需求不同：Prefill需要高算力，Decode需要低延迟。

把PD任务混布在同一节点，容易出现资源争抢。Prefill占满算力时，Decode的延迟飙升；优先保障Decode，Prefill的吞吐又上不去。华为的方案是PD节点动态分配，根据实时负载把任务调度到最合适的节点。

专家并行（Expert Parallelism）是另一个复杂因素。MoE（Mixture of Experts）模型把参数分散到多个专家网络，每次推理只激活部分专家。这降低了单次推理的计算量，但增加了通信开销——需要把输入路由到对应的专家，再把结果聚合回来。

专家负载不均衡是常见问题。某些专家被频繁激活，成为热点；另一些专家长期闲置。华为iMaster CCAE的优化智能体，会基于推理时延、吞吐量、资源利用率等指标，实时感知服务性能，在劣化时主动进行专家均衡调优。

软硬协同：从参数寻优到动态调整

纯软件调优有天花板。网络协议栈的延迟、GPU显存的带宽、NVLink的拓扑，这些硬件特性决定了性能上限。华为的软硬协同调优，试图在软件算法和硬件配置之间找到最佳配合点。

Auto Tuning主动参数寻优是其中的关键技术。AI训练和推理涉及大量可调参数：BatchSize、学习率、流水线并行度、张量并行度、序列并行策略等等。人工调参耗时耗力，而且不同模型、不同硬件配置的最优参数组合差异很大。

Auto Tuning的思路是让智能体自动探索参数空间。通过定义性能目标（如最大化吞吐、最小化延迟、或特定约束下的成本最优），智能体在运行时持续尝试不同的参数组合，收集反馈，逐步收敛到较优配置。

这跟传统的超参数搜索不同。Auto Tuning是在生产环境运行的，必须保证调优过程不影响服务可用性。华为的做法是渐进式调整，每次只改少量参数，观察效果后再决定下一步。同时设置安全边界，一旦性能劣化超过阈值，立即回滚。

BatchSize动态寻优是推理场景的典型应用。BatchSize越大，吞吐越高，但延迟也越大。在线服务需要在延迟约束下最大化吞吐，这个最优BatchSize会随请求到达率、序列长度分布、硬件负载而变化。优化智能体实时监测这些指标，动态调整BatchSize，避免固定配置导致的性能损失。

实际部署中的权衡

技术方案再完善，落地时总要面对各种约束。

首先是兼容性问题。NSLB需要网络设备支持特定的控制接口，存量设备可能无法接入。华为的做法是分层部署，新建设备全量支持，存量设备通过软件升级部分支持，逐步过渡。

其次是调优的侵入性。Auto Tuning需要在训练或推理过程中尝试不同配置，这有一定风险。关键业务往往要求稳定性优先，对自动调优持保守态度。华为的应对是提供多种模式：全自动模式用于非关键环境，半自动模式（人工确认后执行）用于生产环境，手动模式仅提供建议。

最后是效果的可解释性。智能体的调优决策基于复杂模型，有时难以解释"为什么这样调"。这在故障排查时会造成困扰。华为在iMaster CCAE中增加了决策追溯功能，记录每次调优的上下文、依据和效果，帮助运维人员理解系统行为。

行业视角：从单点优化到系统思维

算网存协同调优反映了一个更广泛的行业趋势：AI基础设施的优化重心，正从单点性能转向系统效率。

过去几年，算力是稀缺资源，堆GPU就能带来明显收益。现在算力供给增加，网络、存储、调度等环节的瓶颈日益凸显。单纯追求算力峰值，不如提升有效算力占比——让昂贵的GPU少空闲、少等待、少做无效计算。

这种系统思维也体现在软件生态的演进中。PyTorch、TensorFlow等框架都在加强分布式训练的原生支持，DeepSpeed、Megatron-LM、vLLM等推理引擎也在优化通信和内存管理。硬件厂商和云服务商则通过RDMA、NVLink、CXL等技术，降低节点间通信延迟。

华为的Agentic AI运维系统，可以看作这种系统思维在运维层面的延伸。把调优经验沉淀为智能体能力，降低对专家人力的依赖，让复杂系统的优化变得可规模复制。

当然，这套方案的效果最终要在真实业务中检验。95%的网络吞吐率、动态PD分配、专家均衡调优等指标，在不同模型、不同规模、不同负载下的表现会有差异。对于正在规划AI基础设施的团队，关键不是照搬具体技术，而是理解"算网存协同"这个核心思路，根据自身场景选择合适的技术组合。