DMC-Fusion: Deep Multi-cascade Fusion with Classifier-Based Feature Synthesis for Medical Multi-modal Images
1.摘要
多模态医学图像融合是临床精确诊断和手术计划的重要课题。尽管像Densefuse这样的单特征融合策略取得了令人鼓舞的效果，但它往往不能完全保留源图像的特征。本文提出了一种基于分类器特征合成的深度多融合框架，用于多模态医学图像的自动融合。该算法由基于密集连接（dense connections）的预训练自编码器、特征分类器和一种分别融合高频和低频的多级联融合解码器。编码器和解码器从MS-COCO数据集传输，并在多模态医学图像公共数据集上同时进行预训练以提取特征。通过高斯高通滤波和峰值信噪比阈值法对特征进行分类，然后将预训练的Dense-Block和解码器的每一层特征映射划分为高频和低频序列。具体而言，在所提出的特征融合块中，采用参数自适应脉冲耦合神经网络和L1加权分别进行高频和低频融合。最后，我们在全解码特征阶段设计了一种新型的多级融合解码器，以选择性地融合不同模态的有用信息。我们还使用融合图像验证了我们的方法对脑部疾病的分类，并进行了统计显著性检验，以说明分类性能的提高是由于融合。实验结果表明，该方法在定性和定量评价方面都达到了最先进的水平。
2.引言
3.论文结构
4.总结
5.文章笔记
MRI和PET的基本原理的叙述：
磁共振成像(MRI)是一种利用磁场和无线电波对人体内部器官进行成像的结构方式。这种非侵入性诊断工具测量所需身体部位的解剖结构。而正电子发射断层扫描(PET)是一种功能模式，使用放射性示踪剂来量化人体组织和器官中的代谢活动。