《Multi-exposure image fusion via deep perceptual enhancement》简读

摘要

引言

相关工作

问题分析

MEF的深度感知增强（Deep perceptual enhancement for MEF）

实验

个人思考

地址

论文地址： https://doi.org/10.1016/j.inffus.2021.10.006

代码地址： https://github.com/dongdong4fei/DPE-MEF

摘要

       此部分，作者简要概括文章内容，提出了为什么要进行多曝光图像融合（MEF），是因为自然场景的高动态范围与消费级相机的有限（低）动态范围之间存在巨大差距，一次拍摄难以记录场景的所有信息。多曝光图像融合（MEF）本质上是一种增强问题。作者提出一种用于MEF的深度感知增强网络（DPE-MEF），由于融合过程中需要同时关注信息量以及视觉逼真度这两个重要感知因素，所以作者设计的时候将DPE-MEF分为两个模块，一个负责收集输入内容细节，另一个负责结果校正。作者通过实验证明该模型具有良好的性能。

引言

       此部分，作者主要介绍了多曝光图像融合（MEF）任务的背景和挑战。一些曝光过度或曝光不足的区域往往出现在单幅图像中，难以呈现场景的全部内容，原因是场景的动态范围跨度远远大于摄像机所能记录的范围。为了缓解这个问题，多曝光图像融合( MEF)作为一种高性价比的解决方案。首先，作者指出MEF任务是在复杂和多样化场景下处理图像的重要任务。然后，作者提到随着深度学习的出现，许多计算机视觉任务都取得了显著的改进，包括MEF任务。然而，目前MEF任务的性能受到缺乏真实数据的限制。为了解决这个问题，已经提出了一些基于深度学习的方法，但它们仍然受到现有方法的限制。接下来，作者指出MEF任务不仅需要考虑信息丰富性，还需要考虑融合结果的视觉真实性，尤其是颜色的真实性。

本文主要的贡献：

1. 为了获得信息丰富且视觉醒目的融合结果，作者设计了一个针对MEF的深度感知增强网络，即DPEMEF。DPE - MEF由两个功能子网组成，分别负责从多个输入中收集重要的细节和保证美感。
2. 在融合本质的驱动下，细节增强模块试图从源输入中充分挖掘细节。通过寻求最佳的局部曝光，有效地形成了增强图像，并以此作为参考来指导细节增强模块。
3. 为了保证视觉质量，引入了色彩增强模块。它能够通过学习同一场景自然图像中颜色与亮度的关系来细化外观，从而为融合图像拟合出更加真实生动的颜色，显著提高视觉感知。
4. 作者进行了大量的实验来证明我们设计的有效性，并与最先进的方法进行了比较，揭示了它的优势。作者进一步验证了所提出的策略可以用于提高单幅图像的曝光质量。

相关工作

       此部分，作者回顾了与本文相关的经典和最近方法。

       首先，作者介绍了传统方法和深度学习方法两大类MEF方法。传统方法包括基于空间域和变换域的技术，如基于像素级和基于块级的方法。作者提到了一些代表性的传统方法，如基于密集尺度不变特征变换的方法和基于结构性块分解的方法。然而，传统方法存在一些局限性，如亮度过渡问题和伪影问题。

       接着，作者介绍了一些基于深度学习的方法。作者提到了一些使用深度学习解决MEF问题的方法，如DeepFuse和MEF-GAN。这些方法通过深度网络的强大特征提取能力来改善MEF任务的性能。然而，这些方法的性能仍然受到缺乏真实数据的限制。

       最后，作者指出现有方法在处理MEF任务时通常只关注图像的信息丰富性，而忽视了融合结果的视觉真实性，尤其是颜色的真实性。这为本文提出的工作奠定了基础，即设计一个深度感知增强网络来解决MEF任务，并同时考虑信息丰富性和视觉真实性。

问题分析

       此部分，作者分析了当前MEF任务存在的问题。 

       首先，作者指出现有的MEF方法大多数只关注图像的信息丰富性，而忽视了融合结果的视觉真实性，特别是颜色的真实性。这是因为现有方法通常将RGB颜色空间转换为亮度和色度分离的颜色空间，然后只在亮度通道上执行融合策略。然而，这种方法往往导致融合图像的颜色相对苍白和失真，因为严重曝光不足的图像可能会破坏颜色信息。

       其次，作者指出当前深度学习方法在解决MEF问题时面临一个关键问题，即缺乏真实数据作为训练的gt。为了解决这个问题，一些方法采用了无监督的训练方式，如使用MEF-SSIM指标作为训练目标。然而，MEF-SSIM指标只关注源图像的结构和对比度，忽视了其他方面的重要性。

       基于以上问题分析，作者提出了本文的解决方案，即设计一个深度感知增强网络来解决MEF任务。该网络由细节增强模块和颜色增强模块组成，分别处理源图像的细节和颜色，以实现信息丰富和视觉真实的融合结果。通过这种方式，作者解决了现有方法在处理MEF任务时存在的问题，并提出了一种更加全面和有效的解决方案。

MEF的深度感知增强（Deep perceptual enhancement for MEF）

      此部分，作者介绍了本文提出的一种用于MEF的深度感知增强方法（Deep Perceptual Enhancement for MEF，简称DPE-MEF）。该方法旨在同时关注信息丰富性和视觉真实性，以提高MEF的性能。具体而言，DPE-MEF由两个子模块组成：细节增强模块（Detail Enhancement Module，DEM）和颜色增强模块（Color Enhancement Module，CEM）。DEM模块旨在从源图像中提取重要的细节信息，并通过寻找最佳局部曝光来增强图像的细节。CEM模块则通过学习自然场景中颜色和亮度之间的关系，对融合结果进行颜色映射和校正，以获得更加真实和生动的颜色。

      作者还介绍了DEM模块和CEM模块的具体架构和工作原理。DEM模块采用了一种细节增强规则，通过计算源图像和特征之间的曼哈顿距离来优化网络参数。CEM模块则通过学习颜色和亮度之间的映射关系，对融合结果进行颜色增强。

实验

       此部分，作者做了大量实验，定量比较实验、定性比较实验、消融实验以及不同曝光条件下的融合实验等。通过这些实验，作者验证了DPE-MEF方法在信息丰富性、视觉真实性和性能方面的优势，并展示了其在不同场景和条件下的鲁棒性和适用性。

个人思考

       对于实际应用可行性，DPE-MEF方法在论文中通过实验证明了其在多曝光图像融合任务上的优越性。它能够有效地提取图像细节，改善图像的信息丰富性和视觉真实性。

       然而，我测试模型的时候将输入更换成像素较高的图片会需要较长处理时间，且在cpu上运行处理较高分辨率的图片甚至卡死了（可能是我电脑的原因）， 对于高分辨率图像会增加计算量，导致处理速度变慢。这方面是否可以优化？

      在我看来，可以考虑添加预处理步骤，例如图像下采样或分块处理，以减少计算量并提高处理速度。此外，对于处理后的图像结果大小恢复，可以添加后处理步骤，例如图像插值或图像重建，以恢复图像的原始分辨率和细节。