Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images(TIP18)

单张图像对比度增强

Posted by Jiaqian Li on 2019-09-09

这是一篇单一图像对比度增强的论文,传统的单一图像对比度增强方法包括基于HE和Retinex理论,但由于自然场景的复杂性和单张图像包含的信息有限,往往很难产生高质量的结果。因此有了基于多曝光图像序列的图像增强,主要有多曝光图像融合(MEF)和高动态范围图像堆叠(stack-based HDR image),再加上色调映射,但这些序列图像中会,存在模糊或者物体移动,导致得到的结果产生伪影。
为了解决上述问题,这篇文章构造了一个大规模的多曝光率图像数据集,包含不同曝光率的低对比度图像及其对应的高质量ref图像,这个对应的ref图像是通过现有的13中MEF和HDR堆叠等方法生成的效果最好的一种,这样就可以用一张图像作为输入,通过网络学习来达到MEF的目的,作者很巧妙地构造了这样一个数据集,使得单图输入也可以实现多图像输入的结果。
网络的设计也不是特别复杂,作者刚开始直接使用一个15层的网络端到端的学习,发现效果不是很好,然后参考了一些其他论文的方式,图像低频信息代表整体自然度,高频信息代表局部细节,先把图像分为高频和低频部分,对两部分分别进行增强,若直接合并两部分的结果效果不是很好,所以作者把增强后的两部分进行合并后再通过一个网络进一步增强,最终得到对比度增强的结果。训练的时候,先分别训练这两个stage,用第一阶段训练好的参数再来训练第二阶段的网络。两个阶段训练完后,移除第一阶段的两个loss,使用DSSIM作为loss来fine-tune整个网络。

3个子网络分别对应一个loss,分别为

部分实验结果如下:


存在的问题,如下图所示,如果输入的图像过曝光太严重了,区域又大,CNN能利用的邻域信息太少不能合成这些丢失的细节,后续的研究还需要解决这一过度曝光的问题。