“然而人不是为失败而生的，”他说。“一个人可以被毁灭，但不能给打败”
背景
在MRI扫描中，与常规3T MRI相比，特高磁场7T MRI具有更高的分辨率和更好的组织造影，有助于更准确、早期的脑部疾病诊断。然而，目前7T MRI扫描仪在临床和研究中更昂贵且数量更少，这促使研究者提出从3T MRI中重建与7T MRI质量相近的图像的方法，以提高图像的分辨率和对比度。 这样可以更准确地完成组织分割等后处理任务，以更高的分辨率和对比度看到脑组织的细节。这篇文章主要介绍从低分辨率的3TMRI中重建高分辨率的类7TMR图像的相关论文。
相关论文
Learning-based 3T brain MRI segmentation with guidance from 7T MRI labeling (Medical physics 2016)
Authors: Minghui Deng, Renping Yu, Li Wang, Feng Shi, Pew-Thian Yap, Dinggang Shen
背景
将脑磁共振图像分割成白质(WM)、灰质(GM)和脑脊液(CSF)是脑部结构测量和疾病诊断的关键。基于学习的分割方法很大程度上依赖于良好的ground truth的可用性。然而，常用的3T MR图像质量不高，WM、GM、CSF的对比度较差。因此，它们对基于训练学习的方法提供良好的ground truth label数据并不理想。超高磁场的最新进展7T成像使获得具有极好的强度对比度和信噪比的图像成为可能。
贡献
提出基于随机森林的3T MRI分割，以7T MRI分割结果为指导训练一系列的随机森林分类器，除第一个分类器外，其余所有分类器都是以上一次分割的白质，灰质，脑脊液（WM,GM,CSF）的组织概率图及原始3T图像作为输入，结合上下文信息来提高分类准确率。整个结构框图如下：
实验部分：
本文在两个数据集上进行验证，包括797 3T MR图像来自Alzheimer’s Disease Neuroimaging Initiative (ADNI)数据集中和10例自己采集的MRI图像，其中5例为健康人，5例为癫痫患者，其中7T MR图像与相应的3T MR图像的空间进行线性配准。7T MRI图像的分割结果先用FSL来生成一个相对准确的分割,然后通过ITK-SNAP进行必要的手动修正。评价指标采用mean Dice ratio。部分实验结果如下：
Reconstruction of 7T-Like Images From 3T MRI（MCCA TMI2016）
Authors: Khosro Bahrami, Feng Shi, Xiaopeng Zong, Hae Won Shin, Hongyu An, Dinggang Shen
这篇论文是MICCAI2015 M-CCA的扩展论文，它的主要贡献有：
1.提出multi-level CCA来增加3T、7T字典的关联性；
2.在MCCA空间使用组稀疏（group sparity）获得相邻patch的结构一致性
3.使用分层框架来逐步重建精细化的7T图像
方法：
一般的字典学习其能量函数可表示为：
空间域的稀疏表示假设3T (LR)和7T (HR)图像高度相关，具有相似的分布，但在实际应用中，这种假设可能并不完全成立。为了克服这一缺点，可以在CCA空间中进行稀疏表示。引入两个基向量，即
作者认为相邻的patch通常具有相似的结构，因此应该具有相似的稀疏表示。通过将一个patch及其附属的patch视为一个组，可增强相邻patch的组稀疏性，实现局部结构的一致性，则（3）式可以写成如下形式：
此外，作者认为在基于patch的重建中，patch的大小是非常重要的。因此本文提出了一种改变patch size的重建方案，通过从较大的patch开始，在多次迭代中层次化地减小patch的大小，即
总体结构如下：
实验部分：
本文使用了13例配对的3T、7T脑MRI图像，其中8名是健康的，5名是癫痫患者。定量评价指标有PSNR、SSIM、VIF、UQI及组织分割结果DICE。部分实验结果如下：
7T-guided super-resolution of 3T MRI(RF Physics2017)
Authors: Khosro Bahrami, Feng Shi, Islem Rekik, and Yaozong Gao
本文用数学方法来生成类似7T的超分辨率3T图像，主要贡献有：
1.依次使用随机森林回归和稀疏表示来提高重构性能；
2.引入一种基于随机森林树输出分布的集成策略，去除异常值，避免不可靠的结果；
3.引入一种加权方案，对随机森林中有代表性的训练样本赋予更高的权值；
4.提出一种基于高分辨率空间图像的预选方案，进一步引入组稀疏性来共享输出的稀疏性
实验部分：
本文采用的数据集是15例配对好的3T、7T图像；对比方法均为传统方法，所用指标有PSNR、SSIM、UQI；用FSL中的FAST工具测试脑图像的分割结果。
本文框架如下：
部分实验结果如下：
Convolutional Neural Network for Reconstruction of 7T-like Images from 3T MRI Using Appearance and Anatomical Features (CAAF DLMIA2016)
Authors: Khosro Bahrami, Feng Shi, Islem Rekik, and Dinggang Shen
本文是用卷积神经网络来重建类7T图像，用的是3D-CNN。主要贡献有：
1.除了表观特征外，将解剖特征引入CNN用于学习3T、7T的映射，使相邻patch有解剖一致性
2.使用CNN结构端到端学习，采用不同卷积核更好地提取特征，不需要额外学习和优化步骤
网络结构如下，损失函数为MSE loss：
实验部分：
本文用到的数据集是15例配对MRI图像，其中健康受试者5例，癫痫8例，MCI 2例。所用指标PSNR，部分实验结果如下：
Dual-Domain Cascaded Regression for Synthesizing 7T from 3T MRI (DDCR MICCAI2016)
Authors: Yongqin Zhang, Jie-Zhi Cheng, Lei Xiang, Pew-Thian Yap, and Dinggang Shen
这篇文章用的是数学方法来合成类7T图像，主要贡献有：
1． 将图像合成问题转化为回归问题求解
2． 提出对偶域串行回归，分别利用空间域和频率域（DCT）的信息来学习3T到7T的映射
方法：
本文提出一个线性回归模型来表示LR字典到HR字典的映射，即
使用ridge回归来求解，其优化方程可以写为:
求导并取极值点，可以得到
与空间域的回归相似，频域中合成7T分量和合成HR字典可分别计算为：
将空间域与频率域的回归结果相结合，即可得：
总体框架如下：
实验部分：
本文所用的数据集为15例配对MRI脑图像，评价指标为PSNR、SSIM。部分实验结果如下：
Joint Reconstruction and Segmentation of 7T-like MR Images from 3T MRI Based on Cascaded Convolutional Neural Networks (MICCAI2017)
Authors Khosro Bahrami, Islem Rekik, Feng Shi, and Dinggang Shen
本文是基于深度学习的MRI重建及分割，将图像分割域重建任务联合在一个统一的框架中。主要贡献如下：
1.提出一个相互级联的3DCNN，同时用于学习重建7T图像和对应的分割映射；
2.使用3D卷积可以使相邻patch的解剖结构具有更好的空间一致性
3.利用重构和分割任务之间相互学习，在每个级联步骤中相互收益，使得重建后的类7T图像具有较高的分辨率和对比度，同时产生高质量的分割结果。
这篇文章的方法还是比较简单的，总的来说就是采用了双分支的3DCNN，在每一步中交换学到的特征，网络结构如下：
实验部分：本文采用15例配对的健康人的MRI图像。评价指标有PSNR、SSIM以及FAST得到的分割结果DICE比较。部分实验结果如下：
Dual-domain convolutional neural networks for improving structural information in 3 T MRI (DDCNN MRI2019)
Authors: Yongqin Zhang, Pew-Thian Yap, Liangqiong Qu, Jie-Zhi Cheng, Dinggang Shen
这篇文章是对DDCR的改进，从原本的DCT小波域到FFT频率域，主要贡献如下：
1.提出一个对偶域卷积网络来增强3T图像的结构信息，得到类似于7T的MRI图像
2.在空间域和频率域（FFT）分别进行卷积2DCNN，引入butterfly模块来整合两部分特征
本文的结构与上一篇论文比较相似，也是对偶域级联的结构，区别为这里是利用空间域和频率域的信息来重建图像，用切片作为输入。其中的butterfly模块就是中间的结构，实现特征交换，网络结构如下，损失函数为MSE loss：
实验部分：
本文采用15例数据，使用FLIRT线性配准到MNI空间，在数据预处理部分，使用最大最小值将数据归一化到0-1之间作为网络输入。评价指标有PSNR、SSIM及脑组织分割DICE。部分实验结果如下：
Wavelet-based Semi-supervised Adversarial Learning for Synthesizing Realistic 7T from 3T MRI (SemiSave MICCAI2019)
Authors: Liangqiong Qu, Shuai Wang, Pew-Thian Yap, and Dinggang Shen
现有方法通常需要大量成对3T、7T数据，而且这些方法往往不能捕捉足够的解剖细节，结果模糊，因此在本文提出了一种基于小波的半监督对抗网络来合成7T t1加权的MR图像来解决上述问题，主要贡献如下：
1.提出了一种基于小波的半监督生成对抗网络2DCNN，从3TMRI合成7T图像，同时考虑空间域和小波域信息
2.网络结构采用cyclegan的形式，只在loss中引入小波变换（一阶Haar）后分别计算各部分的损失。引入周期一致性损失来减少对成对数据的大量需求，实现半监督学习；利用小波损失来促进多频率细节的有效重构。
3.本文的半监督方法与训练完全配对数据的方法相比，取得了更好的性能
本文的方法主要是借鉴了cyclegan的思想，网络结构及其思想也比较简单，总体框架如下：
本文的小波变换和半监督特性主要是依赖于它的损失函数，分别有对抗损失、重建损失（L1）、cycle一致性损失和小波损失（分解后分别计算损失），如下：
其中对(4)式也作小波分解再计算loss，总的损失函数由以下五部分加权组成，
实验部分：
本文采用15例配对数据集进行实验，归一化到[-1,1]。其中4例为配对数据，其他10例随机shuffle作为非配对数据，训练的时候采用留一法交叉验证。评价指标用的是PSNR和SSIM。部分实验结果如下：
Synthesized 7T MRI from 3T MRI via deep learning in spatial and wavelet domains (WATNet MIA2020)
Authors: Liangqiong Qu, Yongqin Zhang, Shuai Wang, Pew-Thian Yap, Dinggang Shen
主要贡献：
1.提出一种有效的方法，将图像先验结合到深度学习中，以实现更好的图像合成性能。利用空间域和小波域的互补信息合成7T图像，与上一篇论文不同的是，这里将小波变换融合到了CNN（2D）结构中用于网络学习而不是loss；
2.提出一种灵活且参数效率高的WAT层，可嵌入到神经网络中， WAT层将图像先验纳入网络，作为WAT层的条件输入得到更多频率信息，促进有效重建。
本文的网络结构如下，总的特征提取部分是类似于unet的encoder-decoder结构，主要创新是WAT层，这里用到的是空间特征转换(spatial feature transform)的思想，对两部分特征作一个类似于仿射变换进行融合，损失函数用的是MAE loss。
实验部分：
本文用到的数据集是15例配准的3T、7T图像，线性配置到MNI标准空间并归一化到[0,1]。评价指标为PSNR、SSIM及组织分割DICE比较。部分实验结果如下：
Learning to Decode 7T-like MR Image Reconstruction from 3T MR Images (DLMIA Workshop 2018)
Authors: Aditya Sharma, Prabhjot Kaur, Aditya Nigam, Arnav Bhavsar
这篇文章是基于深度学习的7T图像重建，主要贡献：结构上采用自编码器的形式，1个编码器+3个解码器，每次迭代根据最小的decoder更新encoder，decoder则根据各自的loss更新，其原理如下：
本文的网络结构比较简单，如下图，就是类似于unet的encoder-decoder的结构（2DCNN），三个不同的decoder可以学到不同的feature map,每次迭代选择loss最小的decoder优化，最后的结果由三个decoder取平均得到。
实验部分：
本文的数据用的是HCP1200中公开的3T、7T图像，其中22例训练，6例验证，11例测试。使用FLIRT将3T图像配准到7T，数据归一化到[0,1]范围内。每例样本有207个切片，去掉前后的各20例，把剩下的167个切片用于训练重建。评价指标为PSNR、SSIM及分割结果DICE的比较。部分实验结果如下：
结论
总的来说，MR图像增强方法主要有三类，即基于传统的字典（稀疏）表示、基于机器学习的方法，如回归、基于深度学习（卷积神经网络）的方法。其中，基于深度学习的方法大多都是有监督的学习，包括使用2DCNN和3DCNN两种，3D卷积在组织边界方面表现较好，但不能恢复较小的体素值差异，且对设备要求比较高；考虑到设备、运行时间等限制，大部分的方法均采用2D卷积。评价指标一般均采用PSNR、SSIM及分割结果DICE的比较。
