Dec, 2023

深度生成模型对解决逆问题的表现如何？

PDF
TL;DR本研究评估了基于扩散、基于 GAN 和基于 IMLE 的方法在三个反向问题上的性能，即 16 倍超分辨率、着色和图像解压。总体上，我们发现基于 IMLE 的 CHIMLE 方法在提供有效解决方案和可靠的不确定性估计方面优于其他方法。
deep generative modelsdiffusion modelsgansimleinverse problems
发现论文，激发创造
  • 使用预训练的 2D 扩散模型解决 3D 反问题

    本文结合传统的基于模型的迭代重建方法和现代扩散模型，提出了一种高度有效的方法来解决 3D 医学图像重建任务，包括稀疏视图断层扫描、有限角度断层扫描、预训练 2D 扩散模型压缩感知 MRI 等。我们在测试时提出了 2D 扩散先验的增强模型先验，从而实现了所有维度上的一致重建。该方法可以在单个普通 GPU 上运行，并且在最极端情况下（例如 2 视的 3D 断层扫描）表现出高保真度和准确度的重建。我们进一步揭示了该方法的泛化能力出乎意料地高，并且可以用于重建与训练数据集完全不同的体积。

    Nov, 2022

  • 成像中逆问题的深度学习技术

    探讨了深度神经网络在解决计算成像中出现的广泛逆问题方面的应用，提出了一种可以用于将不同问题和重建方法分类的分类法，并讨论了各种重建方法的权衡及其困难点、常见失败模式、未来研究的开放问题和途径。

    May, 2020

  • MoDL: 逆问题的基于模型的深度学习架构

    该研究提出了一种基于卷积神经网络的模型重建框架，实现了解决逆问题的途径。该框架克服了深度学习方法中过多参数所占用的训练数据和时间上的需求问题，并在重构图像方面取得了显著成果。

    Dec, 2017

  • 加速迭代扩散反演的有效真实图像编辑

    使用生成对抗网络 (GAN) 和去噪扩散隐式模型 (DDIM) 的加速迭代扩散反演方法 (AIDI) 在图像编辑任务中取得了更高的重构准确性和更好的稳健性。

    Sep, 2023

  • 基于扩散的图像生成模型调查：问题及其解决方案

    这项调查旨在研究与图像生成模型相关的现有问题和当前解决方案。

    Aug, 2023

  • 成像反问题的模型适应

    探究如何在不知道正向模型改变详情的情况下，使用简单的模型适应方法，使得深度神经网络在计算成像的各种逆问题中，包括去模糊、超分辨率和磁共振成像中的欠采样图像重建方面，取得实证成功。

    Nov, 2020

  • 可逆生成模型用于反问题：减轻表示误差和数据集偏差

    研究表明，在图像逆问题中，具有零表示误差的可逆神经网络可以作为自然信号的有效先验，在压缩感知等方面比稀疏先验和 GAN 先验更精确。

    May, 2019

  • 使用深度生成模型进行逆问题的中间层优化

    本文提出 Intermediate Layer Optimization（ILO）算法，用于使用深度生成模型解决逆问题，实验表明该算法在包括图像修复、降噪、超分辨率等领域表现优于现有方法。

    Feb, 2021

  • 基于条件隐式极大似然估计的多模态图像合成

    本文提出了基于 IMLE 的新型多模式条件图像合成方法，并在两个任务中演示了更好的多模式图像合成性能，即单幅图像超分辨率和从场景布局中的图像合成。

    Apr, 2020

  • 利用前向模型的扩散：无需直接监督解决随机逆问题

    本文提出了一种基于去噪扩散概率模型的条件生成模型，通过把一个已知的、可求导的正向模型集成到去噪过程中，实现了间接观测信号的采样， 并在三项具有挑战性的计算机视觉任务中进行了验证。

    Jun, 2023