论文题目：Towards Unified Image Deblurring using a Mixture-of-Experts Decoder（迈向基于混合专家解码器的统一图像去模糊）
会议：CVPR 2026 Workshop
项目代码：https://github.com/cidautai/DeMoE

摘要：图像去模糊，即去除图像中的模糊伪影，是计算摄影和低层计算机视觉中的一项基础任务。现有方法主要关注针对特定模糊类型设计的专用解决方案，因此缺乏泛化能力。这一局限意味着需要使用多个模型来覆盖不同的模糊类型，而这在许多真实场景中并不实用。本文提出首个能够高效复原多种模糊退化图像的统一去模糊方法，所覆盖的退化包括全局运动模糊、局部运动模糊、低光照条件下的模糊和散焦模糊。我们提出一种混合专家（Mixture-of-Experts，MoE）解码模块，根据识别出的模糊退化类型动态路由图像特征，以端到端的方式实现准确而高效的复原。作为这项工作的一部分，我们提出了一个面向该任务的新基准，并在 8 个数据集上进行评估。我们的统一模型 DeMoE 具有通用、灵活和高效的特点，并在未见过的模糊场景中展现出有前景的泛化能力，尤其是在选择合适专家的情况下。

一、为什么需要统一图像去模糊？

单幅图像去模糊的传统退化模型可以写成 y = x ⊗ k + n，其中 y 是模糊观测，x 是潜在清晰图像，k 是模糊核，n 是噪声，⊗ 表示卷积。然而，“模糊”并不是一种单一退化：手持相机抖动可能造成全局运动模糊，运动物体会产生局部模糊，失焦带来散焦模糊，低照度拍摄又常伴随运动模糊与噪声。不同退化的空间范围、频率特征和复原难度都不相同。

现有深度去模糊模型通常采用一个数据集训练一个专用模型的策略。例如，RealBlur 更关注真实相机抖动，ReLoBlur 关注局部物体运动，DPDD 关注散焦，LOLBlur 则关注低光照运动模糊。一个在运动模糊上表现良好的模型，不一定能直接处理失焦或低光照。若实际部署需要同时覆盖这些场景，就要储存多个网络，并且在推理前判断该调用哪个网络。

已经有 All-in-One Image Restoration 方法尝试用单个模型处理去噪、去雨、去雾等不同任务，但统一图像去模糊又有自己的难点：这些退化同属模糊，却具有显著不同的形成机制。本文希望将“识别模糊类型 → 选择对应模型 → 恢复清晰图像”整合为一次端到端推理，同时尽量保留专用模型的能力。

二、不同模糊任务之间究竟能共享什么？

作者没有直接堆叠专家，而是先研究不同去模糊任务的网络参数是否相似。他们使用相同结构的 NAFNet，分别在不同模糊数据集上训练专用模型，然后计算对应网络层权重的 Pearson 相关系数。分析涉及 SCA 注意力、归一化、1 × 1 卷积和 3 × 3 卷积等组件。

论文 Figure 2：不同去模糊任务的 3 × 3 卷积层权重相关性

Figure 2 中每组柱状图对应两个任务的逐层权重相关性，红线标记相关系数 0.7。除了包含 LOLBlur 的若干组合外，多数任务之间的 3 × 3 卷积权重呈现较高相关性。尤其是散焦 DPDD 与运动模糊 GoPro 的比较，说明二者虽然退化来源不同，网络仍可能学习到相近的局部邻域修正操作。低光照任务的相关性明显较弱，也提示不同模糊类型并不能完全共享表示。

这一观察给出了 DeMoE 的设计依据：共享较通用的特征提取能力，将退化差异交给可选择的专家来处理。需要注意，权重相关性是一项经验分析，不能据此证明不同任务的所有网络层都可无损共享；它主要支持“共享主干 + 保留任务特化分支”的结构选择。

三、DeMoE 整体框架：共享编码器与 MoE 解码器

论文 Figure 3：DeMoE 网络结构、路由器与 MoEBlock

整个网络基于轻量的 NAFNet / U-Net 式编码器—解码器，可分为两部分：通用特征提取与退化识别阶段，以及由多个专家组成的复原解码阶段。输入图像经过共享编码器提取多尺度特征；编码器末端的路由器识别当前图像更接近哪类退化，并输出各专家的权重；在解码器的多个层级，MoEBlock 根据这些权重组合专家输出，逐步重建清晰图像。

这里的关键不是为五类模糊分别运行五套完整的编码器—解码器。DeMoE 共享编码端，并在解码端放入任务特化的轻量专家。图中可以看到编码器的跳跃连接仍将多尺度信息传递到解码端，所以通用结构与专用处理并没有被完全割裂。

3.1 Router：由图像特征生成专家选择权重

路由器 R 接收共享编码器 E 提取的特征，通过卷积、注意力、全局平均池化与 MLP 等操作生成 N 维打分，再经 Softmax 得到归一化权重。实验采用N = 5个专家，对应五个训练数据集：RealBlur、ReLoBlur、GoPro、LOLBlur、DPDD。作者报告路由器在所考虑的训练数据类别上具有超过 95% 的分类准确率，但后面的 OOD 实验表明，已知类别的分类表现并不能直接代表对未知分布的路由可靠性。

对于输入模糊图像 y，路由权重可写为 w = Softmax(R(E(y)))。其中 E(y) 是编码特征，R 是退化分类路由器，表示第 i 个专家的重要程度。同一组路由权重会提供给解码器中的各个 MoEBlock，因此它首先是一种基于输入图像整体特征的专家选择机制，而不是每个像素都单独进行模糊分类。

3.2 MoEBlock：让少量相关专家参与恢复

每个解码层的 MoEBlock 都拥有 N 个独立专家，各自学习与某类模糊更相关的特征变换。其输出按照路由权重求和：

其中 h 是当前解码特征，是第 i 个专家处理后的结果，是融合后的特征。公式表达了完整的加权组合；训练和推理的专家参与方式则不同：训练阶段使用可微的 Softmax 门控，让所有专家都获得学习机会；推理阶段只调用权重最大的 Top-k 个专家，避免每次都执行全部分支。

论文重点采用 k = 1 的配置，即每个 MoEBlock 仅执行一个被选中的专家。这样活跃的复原路径接近单专家 NAFNet，而整个模型仍保存多类退化所需的专家参数。参数总量与单次推理计算量必须区分：未被选中的专家仍占用模型存储，但不会产生同等规模的推理计算。

四、如何训练：先学习通用表示，再微调专家

单纯让五个专家从零开始竞争，容易造成共享特征与任务特化表征相互干扰。作者采用两阶段的退化感知训练策略。

第一阶段联合训练基础复原网络和路由器，同时优化像素回归与退化分类。其目标函数为：

其中 x 与分别为清晰真值与复原结果，是当前退化类型的真实类别分布，是路由器预测的概率；，。像素损失要求图像恢复正确，分类损失要求编码特征具有区分不同模糊的能力。

第二阶段冻结编码器和路由器，仅微调 MoEBlocks 及解码器层，并使用像素 L1 损失。直观来看，第一阶段先学会“这些图像共同具有怎样的可恢复结构，以及它们属于哪种退化”，第二阶段再让不同专家针对各类模糊精细地学习修正。这样既减少了多任务端到端训练中的相互牵制，也使专家选择具有明确的退化类别含义。

五、实验结果与消融分析

5.1 AIO-Blur：把五类去模糊任务放在同一训练条件下

作者构建AIO-Blur基准，将 RealBlur、ReLoBlur、GoPro、LOLBlur 和 DPDD 的训练与测试划分结合起来，并要求 PromptIR、Restormer、FFTFormer、SFHFormer、NAFNet 和 DeMoE 使用相同的统一训练设定。评价指标包括 PSNR（越高越好）、SSIM（越高越好）和 LPIPS（越低越好）。效率统计采用 256 × 256 图像块，在 RTX 4090 上测量 MACs 与推理时间。

论文 Table 1：AIO-Blur 五类模糊任务的统一评测与计算成本

最值得关注的是整体均值而不是单项最高分。DeMoE（Top-1）的平均PSNR / SSIM / LPIPS 为 29.19 / 0.877 / 0.208；同样统一训练的 NAFNet 为29.12 / 0.873 / 0.215，PromptIR 为28.63 / 0.851 / 0.218。DeMoE 的提升是稳定但有限的，而非对各项基线的全面大幅领先。在 GoPro 上，DeMoE 的 PSNR 为30.06 dB，高于 NAFNet 的29.56 dB；但在 RealBlur 上，SFHFormer 的29.69 dB仍明显高于 DeMoE 的28.96 dB。

效率方面，DeMoE 使用20.15M 参数、11.05G MACs、13.1 ms；PromptIR 是35.59M、158.4G、34.4 ms。DeMoE 因而显著降低了计算量与耗时，但不等于它是表中最快的：NAFNet 为10.08M、11.02G、8 ms。这里可以看到 MoE 的实际取舍：多保存一些专家参数，换取多退化场景的适配能力，同时仅激活少量专家来控制计算。

5.2 AIO-Blur-OOD：泛化能力的关键在于选对专家

为了检验训练分布以外的表现，论文额外使用 RealDOF、RSBlur 和 Real-LOLBlur 构建测试集。它们不属于前述五个统一训练数据集。这里必须区分自动路由的 DeMoE与人工指定正确专家的 DeMoE†，因为两者的结论并不相同。

论文 Table 2：AIO-Blur-OOD 上的自动路由与人工专家选择结果

在 RSBlur 上，自动 Top-1 路由的 DeMoE 为19.23 dB / 0.640；人为选择更适合该退化的专家后达到27.53 dB / 0.763。Real-LOLBlur 使用无参考质量指标，自动路由的 MUSIQ 为31.34，人工选择 LOLBlur 专家后达到38.91。这说明模型内部确实保存了具有迁移潜力的专家能力，却不代表路由器已经能够可靠识别所有未见模糊。若专家选错，潜在的恢复能力就无法发挥。

因此，论文所展示的 OOD 优势应当更准确地表述为：DeMoE 在适当专家选择下具备很强的跨分布适应潜力；但其完全自动化的 OOD 去模糊仍受路由器限制。人工选择专家需要额外的退化判断或用户干预，不能与无需先验的自动推理视为相同使用条件。

5.3 与单任务专用模型的关系

论文 Table 3：统一训练的 DeMoE 与各任务专用模型对比

统一模型不应被理解为在每一种模糊上都超过单任务最优方法。在 ReLoBlur 上，DeMoE 得到34.52 dB / 0.925，接近专用的 LBAG（34.66 dB / 0.925）；在 DPDD 上，DeMoE 为25.56 dB / 0.797，专用 Restormer 为25.98 dB / 0.811。RealBlur-J 上专门训练的 MLWNet-B 明显强于统一训练的 DeMoE。因为这些专用方法与 DeMoE 的训练数据范围不同，表中的跨范式对比主要用于观察通用化带来的性能代价，而不是严格公平的同条件排名。

论文 Figure 5：五种模糊场景中的复原效果对比

可视化涵盖失焦、低光照、局部运动和一般运动模糊，重点比较边缘、文字及物体细节。DeMoE 用同一个模型覆盖这些输入，在多个场景下获得具有竞争力的复原结果；其价值更多体现为覆盖多类退化、降低部署中的模型切换成本，而不是逐张图像都优于各类专用模型。

5.4 消融实验：验证了哪些设计选择？

• 训练流程消融：对比完全从头端到端训练、预训练基础网络后微调、仅微调 MoE 解码器，检验两阶段训练与参数冻结的必要性。
• 路由学习策略：比较在训练时向路由器权重加入噪声等方式，检验不同专家参与学习的策略。
• 专家架构替换：将 NAFBlock 专家与膨胀卷积、Wavelet Attention、MDTA、PLK Attention 等方案比较，研究复原质量和效率之间的取舍。
• 激活专家数量：考察不同 Top-k 选择下的参数存储、活跃计算与推理时间，分析稀疏执行的意义。

六、总结与思考

DeMoE 的核心贡献并不是提出一种新的去模糊卷积算子，而是用“共享通用特征 + 退化感知路由 + 专家解码器”重新组织多种去模糊任务。其前期的网络权重相似性分析解释了为什么不同模糊任务可能共享局部复原能力；两阶段训练和 Top-k 专家选择，则让统一模型在保留任务差异的同时控制推理成本。

这篇论文有两个值得继续研究的问题。第一，路由器如何在未见退化上稳定地识别或组合专家？目前人工指定专家带来的大幅改善，恰恰揭示了自动路由仍是限制模型泛化的关键。第二，当前路由权重主要由图像整体特征生成，如果一张图同时出现局部运动、失焦和低照度等混合退化，是否需要更细粒度的空间路由？这属于从现有结构出发的后续研究方向，论文并未证明现有模型已解决这个问题。

如果把这篇论文压缩成一句话：DeMoE 通过共享编码器和可选择的 MoE 解码器，将原本需要多个专用网络处理的模糊场景纳入单个模型；它验证了统一去模糊的可行性，也明确暴露了开放场景中“识别退化、选对专家”的难题。