A Review on Cross-modality Synthesis from MRI to PET
1.摘要
随着时间的推移，医学影像合成越来越受欢迎。在各具特色的成像技术中，MRI和PET在医疗领域有着重要的意义。但由于PET的某些局限性，如费用、辐射暴露和缺乏可用性，人们倾向于采用跨模态合成的方法。深度学习为该领域模型的发展铺平了道路，完成了跨模态合成任务。使用这些模型合成生物医学图像可以节省患者的时间、金钱和精力，并改善疾病诊断。本文旨在总结以MRI-PET交叉模态合成为最终目标的深度学习模型
2.引言
- 医学成像技术在医疗保健领域发挥了显著的作用,每种类型的成像技术都提供了一些人体解剖或功能信息，这意味着像MR和PET这样的多模态生物医学图像将提供补充信息，从而实现细致和快速的诊断。
- 磁共振成像(MRI)和正电子发射断层扫描(PET)这两种扫描在一起使用时可以提供补充信息，帮助医生做出强有力的临床判断，但是每个患者同时拥有这两种扫描的可能性很低，这有多种原因
1)PET模式的可用性有限。发展中国家的大多数医疗中心不提供PET扫描。
2)与MRI相比，PET是一种昂贵的方式。
3) PET中放射性示踪剂的使用，增加了终生癌症风险。
尽管存在这些障碍，但PET由于其独特的分子成像特性是必不可少的。而核磁共振成像作为一种更安全的成像方式，在这些限制方面具有优势。因此，为了有效解决这一问题，采用了跨模态合成策略。 - 跨模态合成是在源模态下评估同一受试者的目标模态图像的过程，即在我们的案例中是MR-to-PET。该方法不仅克服了PET的划界因素，而且简化了患者的治疗，减少了患者的整体扫描时间，减少了诊所和医院的工作量，提高了疾病预测的准确性，并且可以为医学成像数据集做出贡献。简而言之，它节省了人们的时间、金钱和精力。从而改善社会的健康和生活。
- 属于同一受试者的MR和PET扫描具有不同的外观，这使得学习跨域映射成为一项具有挑战性的任务。深度学习已被认为是实现计算机视觉任务的重要技术。随着GAN的体系结构及其变体得到了广泛的认可,在完成跨模态合成时，同样创建了基于GAN的模型
- 在本文中，我们总结了现有的用于MRI-PET交叉模态合成的基于深度学习的模型。
3.论文结构
1)文献调查
A.基于深度学习的影像数据补全改善脑部疾病诊断
本文使用3D CNN来估计缺失数据。该模型以MRI为输入，预测相应的PET。
B. MRI到FDG-PET:使用3D U-Net进行多模态阿尔茨海默病分类的跨模态合成
本文采用三维U-Net模型来捕捉这些模态之间的非局部相关和非线性关系。
C. 合成PET从PET使用周期一致的生成对抗网络用于阿尔茨海默病诊断
本文开发了一个两阶段的框架，该框架在初级阶段使用周期一致的GAN (3DcGAN)进行mri -PET合成，在后续阶段构建用于AD诊断的分类方法(LM3 IL)。
D.用pix2pix从MRI推断PET
为了有一个共同的框架，引入了pix2pix GAN，本文使用相同的架构来演示使用成对数据集的MRI到PET翻译任务。
E.使用不同归一化的对抗U-Net从MRI到PET的交叉模态合成
为了减少内部协变偏移问题和对数据集中范围更广的特征的偏倚，深度网络采用了归一化技术。本文指出了BN的某些缺点，用各种归一化方法对对抗U-Net模型进行了实验，以找出其中最适合该跨模态综合任务的方法。为了解决批量归一化中生物医学图像的稀少性与小批量大小要求之间的矛盾，采用批范数(Batch Norm, BN)、层范数(Layer Norm, LN)、实例范数(Instance Norm, in)和组范数(Group Norm, GN)四种归一化方法，对不同小批量大小的对抗U-Net的性能进行了评价。定量结果表明，IN对所有样本的每个通道相对于该通道的均值和标准差进行标准化，比其他归一化技术具有更好的性能。
F.基于条件流的模态迁移生成模型
G.双向映射生成对抗网络用于脑MR到PET合成
这项工作提出了一种类似于CGAN的方法，在这种方法中，它被端到端地指导，最终目标是AD分类。当使用分类目标进行训练时，可能会影响生成语用图像的性能。这一限制是克服自适应微调GAN损耗和分类损耗。同时，通过损失微调使一般GAN训练变得稳定。
I.FREA-Unet:模态传输的频率感知U-net
本文注意到PET扫描中存在不同的频率尺度以及深度学习模型中注意学习的本质，提出了端到端的频率感知U-net模型。为了反映合成PET与真实PET的不同频率尺度，该模型在解码部分从两个不同的层获得低频和高频PET图像，并在每一层上附加一个可训练的注意模块。根据本文的定义，低频/高频层的注意力是指从频率层提取的激活图与U-net解码路径中前一层到最后一层的产出之间的兼容性分数。然后在频率尺度层中使用这些分数来突出相关特征。将获得的低频/高频层的输出融合并馈送到最后一个解码器层，以生成最终的真实PET图像。利用从注意力模块获得的不同权重分别优化低/高频尺度，使模型能够生成更精确的合成PET，具有更高的分辨率和保留的器官结构和分辨率。
2)比较
4.总结
PET数据的缺乏一直是疾病准确诊断的障碍。跨模态综合方法是解决这一问题的有效方法。在本文中，我们总结了为实现MRI-PET交叉模态合成任务而开发的深度学习模型，并对这些模型进行了比较。可以看出，由于GAN在图像合成任务中的出色性能，大多数都提出了基于GAN的架构。此外，我们还简要概述了数据集和用于评估合成PET图像的常用定量矩阵。
5.文章笔记
MRI和PET的基本原理的叙述：
磁共振成像(MRI)是一种利用磁场和无线电波对人体内部器官进行成像的结构方式。这种非侵入性诊断工具测量所需身体部位的解剖结构。而正电子发射断层扫描(PET)是一种功能模式，使用放射性示踪剂来量化人体组织和器官中的代谢活动。
UNet优点：
码器和解码器网络之间的跳跃连接有助于保留输出图像中的空间/定位信息，并使用二值交叉熵作为损失函数，有助于生成平滑输出。
U-Net架构以其通过跳过连接将低级特征从编码器传输到解码器的能力而闻名，在这一过程中对于保留MR和PET切片之间常见的低级特征非常重要
评估合成医学图像的标准:
• Mean Absolute Error (MAE)
• Mean Squared Error (MSE)
• Peak Signal-to-Noise Ratio (PSNR)
• Structure Similarity Index (SSIM)
• Multi-Scale Structural Similarity (MS-SSIM)
• Frechet Inception Distance (FID)
注意力的优点:
注意力学习背后的主要思想是更多地关注与任务相关的特征，而不是简单地平等地关注图像的所有部分。