Kimi K3架构深潜：896专家与混合注意力背后的工程取舍
规模扩张下的工程悖论与K3的解题思路
在人工智能大模型的发展进程中，参数规模的指数级增长往往伴随着计算成本的线性甚至超线性上升。Kimi K3作为近期备受关注的超大语言模型，其2.8万亿的总参数量和896个路由专家的配置，标志着模型能力边界的进一步拓展。然而，这种规模的扩张并非简单的堆砌，而是对系统工程能力的极致考验。苏剑林在相关技术复盘中指出，K3的设计核心并非单纯追求参数量的最大化，而是致力于解决规模扩张带来的三大核心痛点：专家拥堵导致的通信瓶颈、长上下文引发的KV Cache内存压力，以及低精度训练下的数值不稳定问题。
K3的基本设计逻辑体现了一种精妙的平衡艺术：模型拥有更大的参数和信息空间，但每一步计算必须严格控制实际调用的部分。通过引入LatentMoE降低专家计算和通信成本，利用RMSNorm与SiTU-GLU稳定专家分支的数值，借助Quantile Balancing协调近千个专家之间的负载，以及采用KDA与NoPE MLA重新分配长上下文中的记忆和检索任务，K3构建了一套完整的控制机制。这种机制确保了模型在保持强大能力的同时，计算效率并未随总参数量和上下文长度同步失控。
LatentMoE：重构专家预算与通信效率
传统混合专家模型（MoE）通常通过路由器（Router）根据Token内容选择少数几个专家参与计算，从而在保持总参数量巨大的同时，控制单次计算的复杂度。然而，在分布式训练环境中，专家往往分布在不同GPU上。Router完成选择后，系统需要将Token的隐藏状态传输至相应设备。随着隐藏维度变宽和激活专家数量增加，跨设备数据传输量急剧上升，通信成本往往先于矩阵计算成为性能瓶颈。
LatentMoE通过改变Token进入专家的方式，从根本上重构了这一流程。K3并未直接将完整的隐藏状态发送给路由专家，而是先将其压缩至更窄的潜在空间。具体而言，K3的主隐藏维度为7168，而路由专家则在3584维空间中计算，完成后再将结果恢复至完整维度。这一降维操作带来的收益是多维度的：不仅减少了单个专家的计算量，还同步降低了专家权重读取、激活处理以及跨设备传输的数据量。
这种效率提升使得K3能够将节省下来的计算预算用于扩大专家池。从原本从448个专家中选择8个，扩展为从896个路由专家中选择16个。尽管激活比例相同，但更多的专家意味着更细致的能力分工。模型不再依赖少数宽泛的专家完成所有变换，而是通过多个较窄的专家共同处理一个Token，实现了更精细的能力组合。此外，潜在空间作为信息瓶颈，促使K3保留了2个始终参与计算的共享专家，负责处理语言结构、基础语义和常见推理模式，而路由专家则专注于学习更细分的能力，避免了数百个专家在通用计算上的重复投入。
Stable LatentMoE：数值稳定与负载均衡的双重保障
LatentMoE引入了降维、专家计算、结果聚合和重新升维等额外步骤，使得计算路径比普通MoE更长，数值波动也更容易被后续矩阵放大。为确保训练稳定性，K3引入了RMSNorm、SiTU-GLU和Quantile Balancing，构建了Stable LatentMoE机制。
RMSNorm被放置在专家结果聚合之后、升维之前。由于不同Token进入不同的专家组合，Router分配的权重存在差异，导致聚合结果的尺度波动较大。RMSNorm通过校准专家分支的整体尺度，再由升维矩阵恢复完整表示，在路由分支与主干网络之间建立了统一的数值接口，防止波动扩散。
然而，整体尺度的稳定并不意味着局部没有异常。SwiGLU结构通过生成两个分支并逐位置相乘来产生输出，若两分支在同一位置产生较大数值，输出将被乘法迅速放大。这类离群值对BF16、FP8等低精度训练尤为危险，极端数值会占用大量动态范围，压缩正常数值的精度区间。SiTU-GLU通过Soft Cap机制限制这种增长：在激活较小时保留原有函数行为，数值进入危险区域后增长速度逐渐降低并趋于饱和。相比直接Clamp，这种处理更加平滑，避免了数值被简单压平导致的梯度消失问题。
在负载均衡方面，K3采用了Quantile Balancing策略。传统MoE Router易形成正反馈，导致少数专家过载而其他专家缺乏训练机会。K2曾采用无辅助损失的负载均衡方法，通过调整专家选择偏置控制流量，但固定步长的更新方式在专家数量增至896个后难以兼顾速度与稳定性。Quantile Balancing则直接观察Router分数与Top-K门槛之间的分布，估计每个专家的选择门槛应移动至何位置，以接收目标数量的Token。这种从经验性反馈调节向直接分布求解的转变，显著提升了负载均衡的精准度。
混合注意力架构：KDA与NoPE MLA的任务分工
K3的注意力结构由KDA（Key-Dependent Attention）和Gated MLA（Merged-Linear Attention）交替组成，大致每3层KDA插入1层MLA。这种设计不仅关乎计算成本，更涉及历史信息保存方式的根本差异。
MLA保留了对完整历史的全局访问能力，尽管将KV Cache压缩至潜在空间，但当前Token仍可根据Query回查历史具体内容，承担全局检索任务。KDA则不保存所有历史Token的完整表示，而是将过去信息持续写入固定大小的状态，通过更新、遗忘和覆盖维持状态，以较低成本处理长序列，但固定容量意味着部分历史细节会被压缩。
K3并未要求单一机制独立承担所有任务，而是让KDA负责高频维持连续状态，MLA周期性访问完整历史以补充固定状态可能遗漏的重要信息。这种分工也解释了K3为何能在MLA中移除RoPE（Rotary Positional Embeddings）。纯MLA模型需显式建模Token间位置关系，而K3中的KDA按Token顺序递归更新状态，较早信息经历更多次传播、衰减和覆盖，较近信息通过更短路径影响当前位置。顺序与距离已部分包含在状态演化过程中，因此MLA无需独立承担全部位置建模任务，可将更多能力用于全局内容匹配。
此外，K3在MLA输出后增加了Gate机制。MLA负责从历史中找到相关内容，Gate再根据当前输入判断哪些通道值得写回主干。这一机制使模型不仅能控制检索对象，还能控制检索结果的使用强度，形成了KDA维持连续状态、MLA执行全局回查、Gate筛选回查结果的明确分工。
工程约束下的架构妥协与优化策略
K3的NoPE MLA仍保留了原本用于RoPE的额外64维分支。从理论形式看，既然不再施加RoPE，该结构似乎可删除。但删除分支会改变Query和Key的张量形状，影响KV Cache布局、Attention Kernel、通信逻辑和推理框架。对于已建立完整训练与部署链路的2.8万亿参数模型，底层形状变化意味着大量组件需重新开发和验证。K3保留原有结构，反映了最小改动原则，虽非数学上最简洁形式，但可复用成熟基础设施，降低训练和部署风险。
在优化器方面，K3继续使用Muon优化器，但采用Per-Head Muon策略，按不同Attention Head分开处理相关参数。多个Head往往学习不同信息模式，若优化器将其作为整体统一归一化，梯度较大的Head可能影响其他Head的更新尺度。Per-Head Muon虽不一定直接带来显著指标提升，但使优化方式与模型内部结构边界保持一致，减少了不同Head间不必要的耦合。
这些细节表明，K3的最终架构并非仅由理论效果决定，通信成本、低精度数值、Kernel复用、框架兼容和工程风险均参与设计取舍。尽管K3仍存在低维潜在空间信息损失、KDA固定状态遗忘细节等问题，更多专家也不必然形成同等数量的清晰能力，但其展示了一条明确路线：当模型进入万亿参数和百万上下文阶段，Scaling的重点已从单纯扩大容量，转向建立更有效的参数、记忆与计算调度机制。这一思路为未来超大模型的研发提供了重要的工程参考与实践指引。