Disease-Image-Specific Learning for Diagnosis-Oriented Neuroimage Synthesis With Incomplete Multi-Modality Data
1.摘要
在多源数据的分类任务中，数据不完整是一个普遍存在的问题，特别是在多模态神经图像的疾病诊断中，为了跟踪这一问题，人们提出了一些方法，通过输入缺失的神经图像来利用所有可用的被试。然而，这些方法通常将图像合成和疾病诊断视为两个独立的任务，从而忽略了不同模态所传达的特异性，即不同模态可能突出大脑中不同的疾病相关区域。为此，我们提出了一种疾病图像特异性深度学习(DSDL)框架，用于使用不完整多模态神经图像用于联合神经图像合成和疾病诊断。具体而言，以每次全脑扫描为输入，我们首先设计了一个带有空间余弦模块的疾病图像特异性网络(DSNet)，以隐式建模疾病图像特异性。然后，我们开发了一个特征一致性生成对抗网络(FGAN)来补全缺失的神经图像，其中合成图像的特征映射(由DSNet生成)与其各自的真实图像被鼓励保持一致，同时保留疾病图像特定信息。由于我们的FGAN与DSNet相关，缺失的神经图像可以以诊断为导向的方式合成。在三个数据集上的实验结果表明，我们的方法不仅可以生成合理的神经图像，而且在阿尔茨海默病识别和轻度认知障碍转换预测两项任务上都取得了较好的效果
2.引言
- 多模态神经影像学数据已被证明可以提供互补信息，以提高疾病的的计算机辅助诊断性能。数据缺失问题一直是使用多模态神经成像数据进行脑疾病自动诊断的常见挑战。
- 传统方法只使用模态完整的被试而丢弃模态不完整的被试，这种策略减少了训练样本数量，忽略了数据缺失受试者提供的有用信息，从而降低了诊断性能。已经提出了几种数据输入方法，利用数据完整受试者的特征来估计缺失数据受试者的手工特征。然而，这些方法依赖于手工制作的图像特征，可能无法区分脑部疾病的诊断，从而导致次优的学习性能。
- 更有希望的替代方法是通过深度学习直接估计缺失数据。然而之前的方法平等地处理每个脑容量中的所有体素，从而忽略了多模态神经成像数据中传达的疾病图像特异性。疾病图像的特异性是双重的：
（1）并不是MRI/PET扫描的所有区域都与特定的脑部疾病有关
（2）与疾病相关的大脑区域可能在不同模态中是有差别的
对于第一个方面，现有的深度学习方法通常在图像合成过程中平等对待所有大脑区域，某些区域与疾病是高度相关的相比于其他区域。对于第二个方面，现有方法直接基于另一种模态图像合成一种模态图像，而不考虑疾病相关区域的模态差距。值得注意的是，已有研究表明，疾病诊断模型可以通过感兴趣区域和解剖标志来隐式或显式地捕捉疾病图像特异性。因此，为了捕获和利用疾病图像的特异性，直观地需要将疾病诊断和图像合成整合到一个统一的框架中，以诊断为导向的方式输入缺失的神经图像 - 在本文中，我们提出了一个疾病图像特异性深度学习(DSDL)框架，用于使用不完整的多模态神经图像用于联合疾病诊断和图像合成(见图1)。如图1a和1b所示，我们的方法主要包含两个单模态疾病图像特异性网络(DSNet)，用于基于MRI和pet的疾病诊断，以及一个用于图像合成的特征一致性生成对抗网络(FGAN)。本文中，DSNet对基于MRI和pet的特征图中的疾病图像特异性进行编码，以辅助FGAN的训练，而FGAN则对缺失图像进行补全以提高诊断性能。由于DSNet和FGAN可以联合训练，因此可以以诊断为导向的方式合成缺失的神经图像。使用完整的MRI和PET扫描(植入后)，我们可以通过提出的多模态DSNet进行疾病诊断(如图1c所示)。在三个公开数据集上的实验结果表明，我们的方法不仅可以合成合理的MRI和PET图像，而且在AD识别和MCI转换预测方面都取得了最先进的结果。
- 与我们之前的工作相比，本工作的贡献如下：
(1)提出了一种统一的DSDL框架，用于不完整多模态神经图像的联合图像合成和AD诊断。缺失的图像以诊断为导向的方式输入，因此从诊断的角度来看，合成的神经图像与真实的神经图像更一致。
(2)设计了空间余弦模型，对全脑MRI/PET扫描的疾病图像特异性进行隐式自动建模。
(3)提出了一种特征一致性约束，可以帮助图像合成模型在模态转换过程中保留疾病相关信息
3.总结
我们提出了一种基于不完全多模态数据的面向任务的神经图像合成的疾病图像特异性深度学习框架，其中使用诊断网络为图像合成网络提供疾病图像特异性。具体来说，我们设计了一个单模态疾病图像特异性网络(DSNet)，对全脑图像进行训练，以隐式捕获MRI和PET传达的疾病相关信息。然后，我们开发了一个特征一致性生成对抗网络(FGAN)来合成缺失的神经图像，通过鼓励每个合成图像的特征映射与其各自的真实图像保持一致。我们进一步提出了一个多模态DSNet (mDSNet)，用于使用完整的(植入后)MRI和PET扫描进行疾病诊断。在三个公共数据集上的实验表明，我们的方法可以生成合理的神经图像，并在AD识别和MCI转换预测方面达到了最先进的性能。