背景

医学影像对于不同疾病的诊断和治疗至关重要。通常不止一种成像模式参与临床决策，因为不同的模式常常提供互补的见解。例如，计算机断层扫描(CT)具有提供组织的电子密度和物理密度的优势，这对于癌症患者的放射治疗剂量规划是必不可少的。然而，CT的缺点是软组织缺乏良好的对比度，且采集期间的辐射暴露也可能增加继发性癌症的风险。另一方面，磁共振成像(MRI)可以很好地对比软组织。与CT相比，MRI更安全，不涉及任何辐射;但它比CT昂贵得多，而且没有放射治疗计划或PET图像重建所需的密度信息。因此，近年来，研究人员极大地激发了从放射治疗计划中同一受试者对应的MR图像中估算CT图像的兴趣。医学图像合成可以在不需要实际扫描的情况下估计所需的成像模态。

相关论文

Medical Image Synthesis with Context-Aware Generative Adversarial Networks (MICCAI 2017)

Authors: Dong Nie1, Roger Trullo, Caroline Petitjean, Su Ruan, and Dinggang Shen
本文开发了一种从MRI图像中提取CT图像的3DGAN模型，训练过程中引入auto-context model (ACM)有效地扩大了GAN的上下文，使其能感知上下文信息从而提升性能。主要贡献如下：
1.第一次将GAN应用到图像合成问题中，生成器有监督地学习不同模态地转换，判别网络作为loss项生成更真实的图像；
2.引入auto-context model进行迭代细化地学习，将上一次生成器得到的结果与原图像中的patch concatenate起来作为下一个生成器的输入，从而实现上下文感知；
3.提出梯度差异损失，使边缘细节更清晰
方法和实验部分均在下一篇论文中介绍。

Medical Image Synthesis with Deep Convolutional Adversarial Networks (TBE2018)

Authors: Dong Nie, Roger Trullo, Jun Lian, Li Wang, Caroline Petitjean, Su Ruan, Qian Wang, and Dinggang Shen
第二篇文章是对第一篇MICCAI2017年论文的扩展，方法上比较相似，对实验部分进行了更多的补充和解释，扩展后论文的主要贡献有：
1.在生成器中引入残差连接，证明其在3T到7T图像合成任务中的作用及其对网络收敛性的作用；
2.进一步验证了梯度损失的作用
3.验证并分析了auto-context model模块细化的作用
4.在MRI到CT(2个数据集)及3T到7T(1个数据集)这两个任务上验证了该模型的作用
本文的网络结构就是普通的GAN，由生成器和判别器组成，不同的是，这里的生成器是有监督的学习过程，判别器的作用就是判断生成的图像是否为真实的目标图像还是合成的图像，主要作用就是把它作为loss约束，使网络可以生成更真实的结果，网络结构如下：

其中，对于3T到7T的合成任务，非常深的网络可能很难产生准确的结果，因为模型需要非常长的记忆。由于输出与输入的结构非常相似，大量的卷积会导致梯度消失问题，在训练过程中可能很难对所需的记忆进行建模，因此引入残差学习来缓解这一问题。但需要注意的是，残差学习只对输入与输出高度相关的任务有意义，如3T到7T合成、超分辨率、去噪等，而MRI到CT任务可能不太适用，加了残差后的生成器结构如下：

由于网络学习是基于patch的，所以每个训练样本的上下文信息都被限制在patch内，这会影响网络的建模能力，因此本文引入了分割中比较常用的ACM模块来扩大上下文信息，有点类似于RNN，但不太一样，除了第一次迭代，后面每次迭代都将上一次迭代的结果和源patch一起作为下一次生成器的输入，如下：

loss函数由3部分组成，用于重建的MSE损失，对抗损失及梯度差分损失，如下：

总的损失函数如下：

实验部分:
MRI到CT图像合成的数据集有2个，分别为脑部（16 subjects）和骨盆（22 subjects）dataset，数据使用均值、方差标准化，评价指标采用PSNR和MAE，部分实验结果如下：

3T到7T的任务使用的是15 subjects的dataset，这些图像都是线性对齐的，并去除颅骨以去外的非大脑区域，部分实验结果如下：