A Review of Multimodal Medical Image Fusion Techniques
1.摘要
医学图像融合是将来自多种成像方式的多幅图像进行融合，得到信息量大的融合图像，以提高医学图像的临床适用性的过程。本文对多模态医学图像融合方法进行了综述，重点介绍了该领域的最新进展，包括:(1)当前的融合方法，包括基于深度学习的融合方法;(2)医学图像融合的成像方式;(3)主要数据集上医学图像融合的性能分析。最后，本文的结论是，目前多模态医学图像融合的研究成果较为显著，发展趋势呈上升趋势，但研究领域存在诸多挑战。
2.引言
- 多模态医学图像融合被广泛研究。
- 医学图像融合通过融合同一部位的不同成像信息以获得更好的对比度，融合质量和感知体验。融合结果应满足以下条件：
(a)融合后的图像应完全保留源图像的信息;
(b)融合后的图像不应产生任何合成信息，如伪影;
©应避免不良状态，如误登记和噪音 - 传统的医学图像融合方法分为空间域和变换域。随着深度学习热潮的到来，出现了基于深度学习的医学图像融合方法，但只有CNN和U-Net网络得到了应用
- 本文结合近年来医学图像融合的相关论文，对该领域的研究进展及未来发展进行综述，分为以下几个部分：
(1)对当前融合方法的介绍
(2)多模态融合的模式
(3)对同一数据库中具有相同评价指标的不同医学图像融合方法的数据进行比较
(4)讨论医学图像融合方法面临的挑战和未来的研究趋势
3.总结
医学图像融合方法存在的问题：
- 医学图像融合的评价指标多，评价指标的非唯一性限制了评价指标的应用前景
- 医学图像融合的创新性低，融合结果中存在的颜色失真、特征信息提取等问题只是得到了改善，而没有完全解决。其中深度学习提高了融合的效果，但研究也存在如下问题：
（1）如何获取海量的数据集
（2）如何简化训练模型或提出新的训练模型
（3）部分融合方法依赖于精确的图像配准，独立性小 - 不同传感器获取的医学图像信息存在差异。目前的研究热点是两模融合，而三模融合的研究很少。
4.文章笔记
U-Net是基于全卷积神经网络改进的，使用数据增强可以训练少量的样本。这一优点正好弥补了医学图像数据样本量小的缺点
CNN是医学领域的新挑战;主要原因是(a)需要大量带注释的训练集数据，(b)训练时间长，©收敛问题复杂，过拟合需要反复调整。