PaperReading-医学影像中的扩散模型:综合综述

DIFFUSION MODELS IN MEDICAL IMAGING: A COMPREHENSIVE SURVEY

1.摘要

  去噪扩散模型是一类生成模型，最近在各种深度学习问题中引起了极大的兴趣。扩散概率模型定义了一个正向扩散阶段，在这个阶段中，输入数据通过加入高斯噪声在几个步骤中逐渐受到扰动，然后学习反向扩散过程以从有噪声的数据样本中恢复所需的无噪声数据。扩散模型因其强大的风格覆盖和生成样本的质量而广受欢迎，尽管它们已知的计算负担。利用计算机视觉的进步，医学成像领域也被观察到对扩散模型的兴趣日益增长。为了帮助研究人员浏览这一丰富的内容，本调查旨在提供医学成像学科中扩散模型的全面概述。具体来说，我们首先介绍扩散模型和三种通用扩散建模框架(即扩散概率模型、噪声条件评分网络和随机微分方程)背后的坚实理论基础和基本概念。然后，我们对医学领域的扩散模型进行了系统的分类，并提出了基于其应用，成像方式，感兴趣的器官和算法的多视角分类。为此，我们涵盖了扩散模型在医学领域的广泛应用，包括图像到图像的转换、重建、配准、分类、分割、去噪、2/3D生成、异常检测和其他与医学相关的挑战。此外，我们强调了一些选定方法的实际用例，然后讨论了扩散模型在医学领域的局限性，并提出了满足该领域需求的几个方向。最后，我们在GitHub上收集了概述的研究及其可用的开源实现。我们的目标是定期更新其中的相关最新论文。

2.引言

1. （1）在过去十年中，使用神经网络的生成建模一直是深度学习的主导力量。自其出现以来，生成模型在图像、音频、文本和点云等各个领域产生了巨大的影响。（2）在过去的几年里，由于一般深度学习架构的发展，人们对生成模型的兴趣重新燃起，揭示了视觉保真度和采样速度的提高。具体来说，已经出现了生成对抗网络(GANs)、变分自编码器(VAEs)和归一化流。除此之外，基于扩散过程的生成模型为现有的VAEs、EBMs、gan和规范化流提供了一种替代方案，这些模型不需要对后验分布进行对齐、估计难以处理的配分函数、引入额外的判别器网络或分别放置网络约束。（3）迄今为止，已经发现扩散模型在许多领域都很有用，从生成建模任务(如图像生成、图像超分辨率、图像绘制)到判别任务(如图像分割、分类和异常检测)。（4）最近，医学影像领域基于扩散的技术数量呈指数级增长。我们的主要贡献包括:
   1）是第一篇全面涵盖扩散模型在医学成像领域应用的调查论文。具体来说，我们将全面概述所有可用的相关论文(直到2022年10月)，并展示2023年4月之前的一些最新技术。
   2）我们设计了一个医学界扩散模型的多视角分类，为扩散模型及其应用的研究提供了一个系统的分类。我们将现有的扩散模型分为两类:基于变分的模型和基于分数的模型。此外，我们将扩散模型的应用分为九类:图像到图像的翻译、重建、配准、分类、分割、去噪、图像生成、异常检测和其他应用。
   3）我们没有将注意力限制在应用上，并提供了一个新的分类法，其中每篇论文分别根据所提出的算法以及相关器官和成像方式进行了广泛的分类。
   3）最后，我们讨论了挑战和开放的问题，并确定了新的趋势，提出了关于扩散模型在医疗领域的算法和应用的未来发展的开放问题
2. 本次调查的动机和独特性。生成方法在医学成像领域取得了重大进展，其中一些论文只关注特定的应用，而另一些则专注于特定的图像形态。尽管在这一领域得到充分发展之前就已经发表了综述文章，但自那时以来，医学领域已经取得了许多进展。另一方面，这些调查都没有关注扩散模型在医学成像中的应用，这是推动这一研究方向向前发展的核心方面。因此，这些调查留下了明显的空白。此外，我们相信医学界可以通过回顾我们的调查提供的扩散模型的过去和未来的研究方向，从视觉扩散模型的成功产品中获得启示。
3. 搜索策略。我们搜索了DBLP、Google Scholar和Arxiv Sanity Preserver，使用定制的搜索查询，因为它们允许定制搜索查询，并提供所有学术出版物的列表:同行评议的期刊论文或在会议或研讨会论文集中发表的论文，非同行评议的论文和预印本。值得注意的是，我们根据对其新颖性、贡献、意义的仔细评估，以及是否为医学成像领域的第一篇介绍论文，选择了论文进行详细检查。
4. 论文的组织。

3.论文结构

2. 理论
   2.1 扩散模型在哪里适合生成式学习?
   2.2 变分视角
   2.2.1 去噪扩散概率模型(ddpm)
   2.3 分数视角
   2.3.1 噪声条件评分网络(ncsn)
   2.3.2 随机微分方程(SDEs)
3. 临床重要性
4. 应用中的扩散模型
   4.1 图像到图像的转换
   4.2 重建
   4.3 配准
   4.4 分类
   4.5 分割
   4.6 去噪
   4.7 图像生成
   4.8 异常检测
   4.9 其他应用和多任务
   4.10 对比概述
5. 未来方向和开放挑战

4.总结

  本文综述了扩散模型的相关文献，重点介绍了扩散模型在医学成像领域的应用。具体来说，我们研究了扩散模型在异常检测、医学图像分割、去噪、分类、重建、配准、生成等任务中的应用。特别是，对于这些应用程序中的每一个，我们都从不同的角度提供了核心技术的分类和高级抽象。此外，我们基于技术对现有模型进行了表征，其中我们确定了基于ddpm, ncsn和SDEs的扩散建模的三种主要公式。最后，我们概述了未来研究的可能途径。
  虽然我们的调查强调了医学成像中基于扩散的技术的快速增长，但我们也承认，该领域仍处于早期阶段，可能会发生变化。随着扩散模型越来越受欢迎，在这一领域的研究也越来越多，我们的调查为希望在工作中使用这些模型的研究人员和从业者提供了一个重要的起点和参考。我们希望这项调查将激发进一步的兴趣和探索扩散模型在医学领域的潜力。值得注意的是，本调查中引用的一些论文是预印本。然而，我们尽一切努力只包括来自信誉良好的来源的高质量研究，我们相信，包括预印本提供了对这个快速发展的领域当前最先进技术的全面概述。总的来说，我们相信我们的调查为扩散模型在医学成像中的应用提供了有价值的见解，并突出了未来研究的有前途的领域。