PaperReading-生成对抗网络在医学成像中的应用综述

Generative adversarial network in medical imaging: A review

1.摘要

  生成对抗网络由于其无需明确建模概率密度函数即可生成数据的能力而在计算机视觉界受到了广泛的关注。鉴别器带来的对抗损失提供了一种巧妙的方法，将未标记的样本整合到训练中，并实现更高的阶一致性。事实证明，这在许多情况下都很有用，例如域适应、数据增强和图像到图像的转换。这些特性吸引了医学影像界的研究人员，并在许多传统和新型应用中得到了迅速的应用，如图像重建、分割、检测、分类和交叉模态合成。根据我们的观察，这一趋势将继续下去，因此我们对使用对抗训练方案的医学成像的最新进展进行了回顾，希望能使对这项技术感兴趣的研究人员受益。

2.引言

1. 从2012年开始，随着深度学习在计算机视觉领域的复兴(Krizhevsky et al, 2012)，深度学习方法在医学成像领域的应用急剧增加。
2. gan是一种特殊类型的神经网络模型，它同时训练两个网络，一个专注于图像生成，另一个专注于识别。
3. 深度学习的根源可以追溯到20世纪80年代(Fukushima and Miyake, 1982)，而对抗训练的概念相对较新，最近取得了重大进展(Goodfellow et al .， 2014)。本文介绍了gan的总体概况，描述了它们在医学成像中的应用前景，并确定了一些需要解决的挑战，以使它们在其他医学成像相关任务中成功应用
4. 为了全面概述gan在医学成像方面的所有相关工作，我们检索了PubMed、arXiv…
5. 本文的其余部分结构如下…

3.论文结构

2.背景
2.1 Vanilla GAN
2.2 优化gan的挑战
2.3 gan的变体
2.3.1 D的变化目标
2.3.2 G的变化目标
3.在医学成像中的应用
3.1. 重建
3.2 医学图像合成
3.2.1 无条件的合成
3.2.2 交叉模态合成
3.2.3 其他条件合成
3.3 分割
3.4 分类
3.5 检测
3.6 配准
3.7 其他工作
4.讨论
4.1 未来的挑战
4.2 有趣的未来应用

4.文章笔记

GAN存在的问题
并不能保证G和D的训练在JS发散的情况下达到平衡。因此，一个网络可能不可避免地比另一个网络更强大，在大多数情况下是D。当D变得过于强大而不是G时，生成的样本变得太容易与真实样本分离，从而达到D的梯度接近于零的阶段，无法为G的进一步训练提供指导。由于难以生成有意义的高频细节，这种情况在生成高分辨率图像时更常见。
另一个在训练gan时经常遇到的问题是模态崩溃，顾名思义，模态崩溃是指G学习到的分布集中在数据分布的几个有限模态上。因此，它产生的不是不同的图像，而是一组有限的样本。