Jul, 2024

盲逆问题基于潜在扩散先验的研究

PDF
TL;DR通过使用潜在扩散先验，我们提出了一种创新的技术 LatentDEM，用于解决更具挑战性的盲逆问题。该方法核心是在迭代的期望最大化（EM）框架中解决盲逆问题：（1）E 步使用潜在扩散先验和已知的前向模型从损坏的观测中恢复清晰图像，（2）M 步基于恢复的图像估计前向算子。此外，我们提出了两种针对潜在扩散先验和 EM 框架定制的新型优化技术，从而实现更准确高效的盲逆转结果。作为一个通用框架，LatentDEM 支持线性和非线性逆问题。除了常见的 2D 图像恢复任务，它还能在非线性 3D 逆渲染问题中提供新的功能。我们通过在代表性的 2D 盲去模糊和 3D 稀疏视图重建任务上验证了 LatentDEM 的性能，证明其相比之前的方法具有更高的功效。
diffusion modelsinverse problemslatentdemblind inverse problemsem framework
发现论文，激发创造
  • 快速扩散 EM：用于盲反问题的扩散模型及其在去卷积中的应用

    使用扩散模型解决逆问题是一个增长迅速的研究领域。我们设计了一种基于期望最大化（EM）估计方法和扩散模型的算法，通过近似计算扩散模型的样本绘制的逆问题的期望对数似然，以及最大化步骤来估计未知的模型参数。我们还引入了一种基于 Plug & Play 去噪器的新型模糊核正则化方法。通过对盲目图像去模糊进行广泛实验证明了我们的方法与其他最先进方法相比的有效性。

    Sep, 2023

  • 潜在扩散先验增强的深度展开在光谱影像重建中的应用

    使用生成模型、潜在扩散模型和基于回归的深展开方法，提出了一种轻量级模型来生成导向重建过程，以改善快照压缩光谱成像重建的质量和计算效率。

    Nov, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 通过潜在扩散模型的后验抽样可证明解决线性反问题

    我们提出了第一个框架，利用预先训练好的潜在扩散模型来解决线性反问题。在理论和实验分析中，我们都展现出在各种问题中都优于先前提出的后验采样算法，包括随机修补、块修补、去噪、去模糊处理、去除条纹和超分辨率。

    Jul, 2023

  • 适用于逆问题的激发调整潜在扩散模型

    我们提出了一种使用文本到图像潜在扩散模型作为通用先验来解决图像逆问题的新方法。我们引入了一种 prompt 调整方法，通过在运行反向扩散过程时动态优化文本嵌入，使得我们能够生成更符合扩散先验的图像。此外，我们提出了一种投影方法，以保持潜在变量在编码器的范围空间内的演化，从而有助于减少图像伪影问题。我们的综合方法 P2L 在各种任务（如超分辨率、去模糊和修复缺失部分）上优于基于图像和潜在扩散模型的逆问题求解器。

    Oct, 2023

  • 让潜在的扩散模型能够在黑暗中看见

    通过将训练于大规模开放领域数据集的扩散模型变为生成先验，提出了一种新颖的基于扩散模型的低光图像增强方法，称为 LDM-SID，该方法通过向扩散模型中插入一组所提出的驯服模块来引导其生成过程，并在观察到扩散模型不同部分的特定生成先验后，将低频内容生成和高频细节维护二分，从而实现对扩散模型的优化结构生成和细节增强。广泛实验证明该方法在定量评估中实现了最先进的性能，并在视觉比较中显示出显著的优越性，从而强调了利用预训练的扩散模型作为 LLIE 任务的生成先验的有效性。

    Dec, 2023

  • LMD：潜在蒙版扩散技术加速图像重建

    本文介绍了一种更快的图像重建框架 LMD，通过潜在遮蔽扩散方法，将高分辨率图像投影和重建在潜在空间中，设计了渐进遮蔽扩散模型，通过三种不同的调度器逐渐提高遮蔽比例，以从简单到困难地重建潜在特征，从而加快模型训练速度，同时保持了原始准确性，并在下游任务中显著提高推理速度。

    Dec, 2023

  • 差分隐私潜在扩散模型

    研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。

    May, 2023

  • 利用隐藏扩散模型通过硬数据一致性求解反问题

    通过使用经过训练的潜在扩散模型来解决一般逆问题，并采用数据一致性来提高效率和灵活性，从而为医学成像等领域应用先验提供了可行性。

    Jul, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022