PCDFusion：面向红外-可见光图像融合的提案-上下文-细节贝叶斯渲染

发布时间：2026/10/28 10:27:03

PCDFusion: Proposal-Context-Detail Bayesian Rendering for Infrared-Visible Image Fusion

- 摘要
- 1 引言
- 2 相关工作
- 3 PCDFusion
- - 3.1 表述与概述
  - 3.2 贝叶斯正红外提案
  - 3.3 贝叶斯可见光上下文更新
  - 3.4 贝叶斯红外细节渲染
  - 3.5 损失函数
- 4 实验
- - 4.1 设置与细节
  - 4.2 红外-可见光图像融合结果
  - 4.3 下游任务结果
  - 4.4 讨论
- 5 结论
- 6 致谢
- 附录 A 实现细节
- - A.1 网络实现
  - A.2 RGB 重建
  - A.3 实验细节
  - A.4 补充定量结果
  - A.5 补充定性结果
  - A.6 补充讨论
  - A.7 失败案例与局限
- NeurIPS 检查清单
- - 1. 主张
  - 2. 局限性
  - 3. 理论假设与证明
  - 4. 实验结果可复现性
  - 5. 数据和代码开放获取
  - 6. 实验设置/细节
  - 7. 实验统计显著性
  - 8. 实验计算资源
  - 9. 伦理准则
  - 10. 更广泛影响
  - 11. 保障措施
  - 12. 现有资产许可
  - 13. 新资产
  - 14. 众包和人类受试者研究
  - 15. 机构审查委员会（IRB）批准或人类受试者研究等效批准
  - 16. LLM 使用声明

Rui Liu 北京理工大学计算机学院，北京 100081，中国 liurui25@bit.edu.cn

Lin Gu 东北大学电气通信研究所，仙台 980-8577，日本 lin@tohoku.ac.jp

Hesong Li 北京理工大学计算机学院，北京 100081，中国 lihesong2@bit.edu.cn

Ying Fu* 北京理工大学计算机学院，北京 100081，中国 fuying@bit.edu.cn

摘要

红外-可见光图像融合（IVIF）旨在结合可见光与热红外观测，以服务于人类感知和下游视觉任务。可见光与热红外观测在物理上互补，但各自在不同方面存在不可靠性。现有深度 IVIF 方法主要改进特征交互与重建，但往往缺乏一种显式的局部规则，用来决定何时应以可见光外观为主、何时应让热响应发挥作用。为解决这一问题，我们将 IVIF 重新表述为局部贝叶斯后验渲染，其中融合由后验动作权重控制，而非直接进行模态混合。本文提出提案-上下文-细节融合（PCDFusion），一个以可见光为锚点的框架，通过三个渲染阶段实现该表述。PCDFusion 保留潜在有用的热响应，更新曝光退化的可见光区域，并将可靠的带限红外结构渲染到最终亮度中。在公开 IVIF 基准上的大量实验表明，PCDFusion 在挑战性光照条件下提升了融合质量、目标恢复以及下游检测与分割性能。代码见 https://github.com/BIT-RuiLiu/PCDFusion.git。