堕落了很久的我又来更新博客啦，恰逢春节，先给大家拜个年，祝大家鼠年大吉，平安喜乐都属于你！也希望疫情能快快过去吧！
这篇文章主要介绍一下用红外图像引导得图像增强，在光照条件不好的情况下，可见光图像中很多信息会丢失或者看不到，而红外图像的波长比较长，可以获得更多的细节信息，因此就可以利用红外图像来引导可见光图像的增强，包括去噪、去雾等。
DenseFuse: A Fusion Approach to Infrared and Visible Images (TIP2019)
本文提出了一个深度学习框架用于红外图像和可见光图像融合，该网络共包含3个部分，编码器、融合层、解码器。其中，编码器用于从原始图像中获取有用的特征；融合层采用add 和 L1-norm两种不同的方式，在测试阶段运用；解码器用于重建融合后的图像。这篇论文的巧妙之处在于，为了解决没有大量成对的红外图像和可见光图像的问题，作者使用MS-COCO数据集中的图片，在训练阶段只训练一个自编码网络，目的就是训练encoder来提取特征，而decoder根据输入的特征重构出图像，所以训练的目的就是使得输入和输出尽可能相同。特征的增强和融合主要是在融合层进行。在测试阶段，特征经过融合之后再输入decoder中，会得到融合图片。论文的总体结构如下：
训练阶段的网络结构如下：
两种融合方式分别为直接相加和L1-norm，也比较简单，如下：
给出其中一组实验结果：
Enhancing Photographs with Near Infrared Images(CVPR2018)
这是第一篇用红外图像进行引导的图像增强，结合了小波变换，首先把红外和可见光图像进行分解，得到平均小波和细节小波，从平均小波中转换对比度信息，从细节小波中转换纹理细节，从而增强VIS图像。整体的流程如下：
此外，本文还提出了一个对偶摄像装置，同时获得可见光和红外图像。
部分实验结果如下:
Low Intensity RGB Texture Enhancement Based on Near Infrared Image Using Perceptual Information (ICCCS 2018）
这篇论文提出了，利用RGB图像作为权重的JND map，将红外图像的纹理信息引入RGB中进行对比度增强的方法，流程如下：
JNDmap的计算如下：
实验结果：
CORRELATION-BASED JOINT ACQUISITION AND DEMOSAICING OF VISIBLE AND NEAR-INFRARED IMAGES (ICIP2011)
本文的目标是设计一个系统可以使用单个传感器同时捕获NIR和RGB图像，在传感器前放置一个颜色滤波阵列(CFA)以便在采集过程中对场景进行子采样，为了获得四通道的全分辨率图像还要进行”demosaicing”的后处理。本文提出一个正则化的优化问题通过修正最优的CFA算法对NIR/RGB图像进行联合去马赛克，该优化问题用来最大化红外图像与可见光图像中亮度通道在高频部分的相关性。经过实验验证，红外图像和可见图像在高频部分是高度相关的。本文要优化的问题如下：
实验结果如下：
ENHANCING LOW LIGHT IMAGES USING NEAR INFRARED FLASH IMAGES(ICIP2010)
这篇论文提出了一种基于加权最小二乘WLS的方法，用红外闪光图像对可见光图像进行增强，在保持图像原始场景的同时去除可见光图像中的噪声，并提升其细节。此外，本文还构建了一个混合的相机系统，可以同时获得一张可见图像和对应的红外闪光图像，流程如下：
实验结果如下：
NEAR-INFRARED IMAGE GUIDED NEURAL NETWORKS FOR COLOR IMAGE DENOISING (ICASSP 2019)
这篇文章提出了一种基于深度学习结合红外图像指导做去噪的方法，思路比较简单，把红外图像和可见图像concat起来，同时输入到网络得到一个四通道的输入，然后经过一个卷积神经网络端到端地学习清晰图像与带噪声图像的映射关系，在合成数据集和真实数据集（自己采集，未公开）上都取得了art的结果，网络结构图和部分实验结果如下：
Colouring the Near-Infrared
这篇论文首先介绍了如何用相机同时获得同一场景下的红外图像和可见光图像并分析了它们之间的差异。它的主要目标是利用近红外图像来增强可见光图像。作者尝试了很多种方法，①Colour swap：直接的通道交换，就是把红外图像看成一个额外的通道，分别取代R,G,B三个通道；②HSV：用NIR图像取代V通道；③YCbCr:用NIR图像取代Y通道；④PCA:将图像进行主成分分析分解，得到一个空间信息相关的主成分和另外两个颜色内容相关的部分，用NIR图像替换空间信息的部分；⑤频率域方法，傅里叶变换中用NIR图像取代高频部分，小波变换分解得到8个子带，高频部分系数采用可见光和近红外图像中的最大值，低频部分系数使用这些系数的平均值；⑥基于融合的方法，第一种是根据信号强度增加或者减少，选择性地替换V和Y通道；第二种方法是先将图像转化到HSV空间，比较NIR和V通道，若NIR图像地信号强，则V通道用NIR图像代替；否则，Y通道用NIR图像代替。相比较而言，用这种方法取得的结果最好。这里就给出一种实验结果：
Adaptive near-infrared and visible fusion for fast image enhancement
这篇文章提出了一种自适应且快速的VS-NIR图像融合的方法，融合后的图可以包含更多的场景信息同时又能保持VS本身的色彩信息。该方法主要分为三步，首先利用VS和NIR图像局部对比度的相对差异估计fusion map；然后用一个简单的高通滤波器提取NIR图像中的空间细节；最后这些细节根据fusion map加权后加到VS图像中，得到融合后的图像。
为了估计fusion map F,首先提取VS图像的Y通道，然后计算其与NIR图像的局部对比度相对误差，定义为：
融合后的图定义如下：
部分实验结果如下：
本文提出的方法具有以下三个优势：①可以将NIR中有用的信息传入融合后的图，而阻止丢失的纹理或者模糊等退化；②该方法可以保留VS图像中本来的颜色；③计算简单，复杂度低，可以嵌入到芯片或者摄像硬件中。
