学术交流：922230617

目录

2. 挑战一：路由机制——从 “静态选谁” 到 “动态怎么选”

2.1 问题：Top-K 的刚性、不可微与路由权重塌缩

2.1.1 缺陷一：Top-K 的刚性与不可微

2.1.2 缺陷二：可学习路由权重会塌缩到单一专家

2.1.3 缺陷三：MLP 路由缺乏语义对齐，导致专家同质化

2.1.4 小结：三个缺陷的共同后果

参考文献

从 LoRA 到 MoE-LoRA（一）：LoRA 与 MoE 是如何走到一起的

2. 挑战一：路由机制——从 “静态选谁” 到 “动态怎么选”

2.1 问题：Top-K 的刚性、不可微与路由权重塌缩

在 MoE-LoRA 中，路由器是整个架构的 “决策中枢”：它决定每个 token 应该走哪些 LoRA 专家、以多大权重组合这些专家的输出。理论上，一个好的路由器应该做到两件事——选得准（把 token 分配给真正擅长它的专家）和用得匀（不让少数专家垄断所有流量）。但现有主流路由设计在这两点上都存在系统性缺陷。

2.1.1 缺陷一：Top-K 的刚性与不可微

绝大多数 MoE-LoRA 方法（MoLA、MoELoRA、MixLoRA 等）沿用传统 MoE 的Top-K 路由：路由器先对每个专家打分，再取分数最高的 K 个专家，归一化后加权求和。对输入 x，路由过程可写为：

这套设计看似简洁，但LD-MoLE指出它有两个根深蒂固的问题：

第一，K 是一个需要人工调参、且训练全程固定的超参数。无论 token 是简单的标点符号还是复杂的推理步骤，都被强制分配给同样数量的专家。简单 token 可能只需要 1 个专家就能处理，却被硬塞了 2～4 个；复杂 token 可能值得更多专家协作，却被 K 卡死。这种 “一刀切” 的资源分配与 MoE 倡导的 “条件计算” 精神背道而驰。

第二，Top-K 算子不可微。选取第 K 大元素的瞬间存在跳变——路由器分数发生任意小的扰动，都可能改变被选中的专家集合，进而导致梯度突变。这意味着路由器的决策无法通过反向传播得到平滑优化，只能依赖 Straight-Through 估计或强化学习等近似手段。

标准 Top-K 路由示意图（LD-MoLE，Figure 2）：输入 token 经路由器打分后，用非可微的 Top-K 选择固定 K 个专家。

MoLA 架构图（MoLA，Figure 1）：预训练 Transformer 每层挂不同数量的 LoRA 专家，路由器用标准 Top-K 选择。

需要说明的是，Top-K 并非 “错误设计”——它在传统 MoE 预训练中被广泛验证有效，MoLA的架构图也清楚展示了标准 Top-K 路由器如何为每层选择 LoRA 专家。MoLA 的贡献恰恰不在改路由，而在改 “每层放几个专家”。这说明：在 MoE-LoRA 社区，Top-K 长期被视为默认配置，很少有人质疑它本身。LD-MoLE 的价值在于把这个问题重新摆上台面。

2.1.2 缺陷二：可学习路由权重会塌缩到单一专家

如果说 Top-K 的问题是 “太硬”，那么另一类方法——给所有专家分配可学习的软权重（soft routing）——的问题则是 “太软以至于塌缩”。ReMix从理论和实证两个层面揭示了一个被长期忽视的现象：路由权重在训练中会迅速塌缩，最终只有一个 LoRA 专家占据接近 1 的权重，其余 k−1 个专家的计算被完全浪费。

ReMix 用有效支撑集大小（Effective Support Size, ESS）来量化这个现象：

若路由权重 π 均匀分布在 n 个专家上，ESS = [n×(1/n)]^2 / [n×(1/n)^2] = n ；若权重退化为 one-hot（只激活一个专家），ESS = 1/1 = 1。ReMix 的理论分析（Theorem 2.1）证明：在路由器参数服从高斯初始化的条件下，以至少 1−δ（δ∈(0,1) 可任意小）的概率，ESS 会被限制在一个极小的值：例如 n=8、σ=1 时，至少 84.19% 的概率下至多只有两个 LoRA 拥有相对较大的路由权重。

理论之外，ReMix 在 MixLoRA 上做了实证追踪。在 GSM8K 上训练时，深层路由权重的典型分布是：一个专家权重高达0.933，其余七个专家权重都在 0.02 以下，ESS ≈ 1.15——名义上激活了 k>1 个专家，实际上只有一个专家在干活。

路由权重塌缩的实证（ReMix，Figure 2）：8 个 LoRA 专家的路由权重柱状图，一个专家（红色 “Dominating”）权重 0.933，其余（蓝色 “Dominated”）权重接近 0。

ESS 随训练步数下降的曲线（ReMix，Figure 2）：曲线从约 4 快速降到 1 并保持。

更糟的是，塌缩会随训练推进而加剧。ReMix 追踪了 ESS 随训练步数的变化：训练初期 ESS 还在 4 左右，到约 1000 步时迅速跌至 1，此后不再回升。这意味着：训练早期路由器还愿意 “尝试”多个专家，但随着优化推进，它越来越倾向于把全部权重押在一个专家上，其余专家彻底失去学习信号（权重接近 0 → 梯度接近 0 → 无法被修正）。

2.1.3 缺陷三：MLP 路由缺乏语义对齐，导致专家同质化

除了 Top-K 的刚性与软权重的塌缩，还有第三个层面的问题：路由器学到的分配与专家实际擅长的能力脱节。SAMoRA对此的批评是：现有方法依赖 MLP 路由器，而 MLP 优先拟合的是训练数据的统计分布，而非 “输入语义 ↔ 专家能力” 的显式匹配。结果就是专家同质化——不同专家学到的功能高度重叠，MoE 退化为 “多个相似 LoRA 的冗余堆叠”，失去了分工的意义。

SAMoRA 用一张示意图对比了这个问题：MLP 路由器把不同任务的输入（Code / Math / General）分配到专家时，各专家的输入分布高度重叠（图中三组专家内部都混有蓝、红、绿三种颜色的点），说明路由器并没有按任务语义把输入 “分流” 到对应专家。

MLP 路由导致专家同质化（SAMoRA，Figure 1）：三个专家框内都混有代表 Code（蓝）、Math（红）、General（绿）的点，说明 MLP 路由器未能按语义分流，专家能力相互重叠。

MLP 路由在 MMLU 未见科目上的激活模式（SAMoRA，Figure 5）：

• 上排是 MLP 路由器，下排是 SAMoRA 的语义路由器；每一列是一个 MMLU 科目。
• 上排几乎所有科目都集中在 Expert 5，下排则呈现多样化激活。

在 SAMoRA 的附录中，还有一个更触目惊心的证据：在未见过的 MMLU 科目上，MLP 路由器几乎对所有科目都选择同一个专家（Expert 5），其他专家极少被激活——模型名义上是 MoE，实际上退化成了 “单专家 + 摆设”。这从另一个角度印证了 ReMix 的发现：可学习路由在多任务场景下同样容易塌缩，只是表现形式从 “权重塌缩” 变成了 “选择塌缩”。

2.1.4 小结：三个缺陷的共同后果

把上面三个缺陷放在一起看，它们共同指向一个后果：MoE-LoRA 的 “多专家” 容量在训练后往往名存实亡。Top-K 的刚性让资源分配无法随 token 自适应；软权重的塌缩让 k>1 的计算被浪费；MLP 路由的语义脱节让专家同质化。三者叠加，使得许多 MoE-LoRA 方法在报告 “激活了 K 个专家” 时，实际有效专家数远低于 K——ReMix 的 ESS≈1.15 就是最直接的证据。

这也解释了为什么后续研究会从三个方向突围：

• LD-MoLE用可微的 Sparsegen 替代 Top-K，让 “激活几个专家” 变成可学习的连续变量；
• ReMix干脆放弃可学习权重，用常数权重 + 强化学习训练路由器，从机制上杜绝塌缩；
• SAMoRA则引入语义 Key 匹配，让路由决策锚定在专家的实际能力上。
• 下一节将详细展开前两条 “可微动态路由” 路线。

值得注意的是：这些并非 MoE-LoRA 独有的新缺陷，而是原生 MoE 中已知的架构性挑战在参数高效微调约束下的具体体现与放大；MoE-LoRA 的研究价值，部分正在于迫使社区重新审视那些在预训练阶段被默认接受的设计选择。

这三个缺陷的谱系可以这样理解：

参考文献

（MoLA）Gao, Chongyang, et al. "MoLA: MoE LoRA with layer-wise expert allocation."Findings of the Association for Computational Linguistics: NAACL 2025. 2025.

（LD-MOLE）Zhuang, Yuan, et al. "Ld-mole: Learnable dynamic routing for mixture of lora experts."International Conference on Learning Representations. Vol. 2026. 2026.

（ReMix）Qiu, Ruizhong, et al. "Reinforcement Routing for Mixtures of LoRAs in Parameter-Efficient LLM Finetuning."Third Conference on Language Modeling.

（SAMoRA）Shi, Boyan, et al. "SAMoRA: Semantic-Aware Mixture of LoRA Experts for Task-Adaptive Learning."Findings of the Association for Computational Linguistics: ACL 2026. 2026.