DiffMIC Dual-Guidance Diffusion Network for Medical Image Classification
1.摘要
近年来，扩散概率模型在生成图像建模中表现出了显著的性能，引起了计算机视觉界的广泛关注。然而，尽管大量基于扩散的研究集中在生成任务上，但很少有研究将扩散模型应用于一般医学图像分类。在本文中，我们提出了第一个基于扩散的模型(称为DiffMIC)，通过消除医学图像中的意外噪声和扰动并鲁棒地捕获语义表示来解决一般医学图像分类问题。为了实现这一目标，我们设计了一种双条件引导策略，该策略将每个扩散步骤设定为多个粒度，以提高逐步的区域注意力。此外，我们提出在扩散前向过程中通过强制最大均值差异正则化来学习每个粒度的互信息。我们评估了DiffMIC在三种不同图像模式下的医学分类任务中的有效性，包括超声图像上的胎盘成熟度分级、皮肤镜图像上的皮肤病变分级和眼底图像上的糖尿病视网膜病变分级。我们的实验结果表明，DiffMIC在很大程度上优于最先进的方法，表明了所提出模型的通用性和有效性。
2.引言
- 医学图像分析不可或缺，医学图像分类是医学图像分析的一个基本步骤。深度学习方法可以帮助医生解读医学图像，这些方法有可能减少人工分类所需的时间和精力，并提高结果的准确性和一致性。然而，由于存在各种模糊病变和细粒度组织，如超声(US)、皮肤镜和眼底图像，各种形式的医学图像仍然对现有方法提出挑战。此外，在硬件限制下生成医学图像可能会导致噪声和模糊效果，从而降低图像质量，因此需要更有效的特征表示建模以实现鲁棒分类。
- 最近，去噪扩散概率模型在图像生成和合成任务中取得了优异的效果。虽然有一些先驱作品试图将扩散模型用于图像分割和目标检测任务，但其在高级视觉方面的潜力尚未得到充分挖掘。
- 我们提出了一种新的基于扩散去噪的模型DiffMIC，用于准确分类不同的医学图像模态。
（1）据我们所知，我们是第一个提出基于扩散的一般医学图像分类模型。由于医学图像的扩散过程是随机的，因此我们的方法可以适当地消除医学图像中的不良噪声。
（2）特别地，我们引入了双粒度条件指导(DCG)策略来指导去噪过程，在扩散过程中使用全局和局部先验来调节每一步。通过在较小的斑块上进行扩散过程，我们的方法可以区分具有细粒度能力的关键组织。
（3）此外，我们引入了特定条件的最大平均差异(MMD)正则化来学习每个粒度潜在空间中的互信息，使网络能够建模整个图像和补丁共享的鲁棒特征表示。
（4）我们评估了DiffMIC在胎盘成熟度分级、皮肤病变分级和糖尿病视网膜病变分级三个二维医学图像分类任务中的有效性。实验结果表明，我们的基于扩散的分类方法在所有三个任务上都一致且显著地超过了最先进的方法。
3.总结
本文提出了一种基于扩散的医学图像分类网络(DiffMIC)。我们的DiffMIC的主要思想是在普通DDPM上引入双粒度条件指导，并强制执行特定于条件的MMD正则化以提高分类性能。在三个不同图像模式的医学图像分类数据集上的实验结果表明，我们的网络比最先进的方法具有更好的性能。作为第一个基于扩散的一般医学图像分类模型，我们的DiffMIC有可能成为该领域未来研究的基本基线
4.文章笔记
通过有限的跨模态信息生成的医学图像可能会导致噪声和模糊效果，从而降低诊断准确性，因此需要更有效的特征表示建模以实现鲁棒分类