Oct, 2023

适用于逆问题的激发调整潜在扩散模型

HTML
PDF
TL;DR我们提出了一种使用文本到图像潜在扩散模型作为通用先验来解决图像逆问题的新方法。我们引入了一种 prompt 调整方法，通过在运行反向扩散过程时动态优化文本嵌入，使得我们能够生成更符合扩散先验的图像。此外，我们提出了一种投影方法，以保持潜在变量在编码器的范围空间内的演化，从而有助于减少图像伪影问题。我们的综合方法 P2L 在各种任务（如超分辨率、去模糊和修复缺失部分）上优于基于图像和潜在扩散模型的逆问题求解器。
发现论文，激发创造
  • 使用引导扩散模型编辑真实图像的无文本倒置技术

    本文介绍了一种精确的图片逆向生成技术，实现了基于文本的图片编辑，通过引入Pivotal inversion和NULL-text optimization技术，以条件嵌入为导向，避免了模型权重的繁琐调整，并在真实照片上进行了高保真度编辑。

    Nov, 2022

  • 使用扩散模型进行文本驱动图像编辑的Prompt Tuning Inversion

    本文提出了一种基于Prompt Tuning Inversion的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在ImageNet数据集上的表现优于现有技术。

    May, 2023

  • 负样本翻转: 基于文本引导扩散模型的快速图像编辑

    本文提出一种负激励反演方法，通过前向传播实现等效重建来加速处理图像编辑中的扩散模型，实验证明与现有方法相比，我们的方法的重建质量是可比的，更快，可用于改善扩散模型的重建质量。

    May, 2023

  • 通过潜在扩散模型的后验抽样可证明解决线性反问题

    我们提出了第一个框架，利用预先训练好的潜在扩散模型来解决线性反问题。在理论和实验分析中，我们都展现出在各种问题中都优于先前提出的后验采样算法，包括随机修补、块修补、去噪、去模糊处理、去除条纹和超分辨率。

    Jul, 2023

  • 利用隐藏扩散模型通过硬数据一致性求解反问题

    通过使用经过训练的潜在扩散模型来解决一般逆问题，并采用数据一致性来提高效率和灵活性，从而为医学成像等领域应用先验提供了可行性。

    Jul, 2023

  • 自适应和扩散：通过潜在扩散模型实现样本适应性重建

    我们提出了一种名为“严重性编码”的新方法，通过在自编码器的潜在空间中估计噪声、退化信号的退化严重程度，从而在样本自适应推断时间、重建问题的难度上取得了显著性进展。同时，利用潜在扩散模型基于预测的退化严重程度来调整反向扩散采样轨迹，从而在维持与观测一致性的同时实现样本自适应的推断时间，与现有扩散法技术相比，我们的技术在计算效率方面有明显提升。

    Sep, 2023

  • 潜在扩散逆解算的文本正则化

    通过将预期解决方案的文本描述在逆采样阶段中进行正则化，我们引入了一种创新的潜变扩散逆求解器（TReg），通过感知偏见解决潜变扩散逆求解器中的歧义，从而成功缓解了这类问题的歧义，提高了效果和准确性。

    Nov, 2023

  • 文本到图像扩散模型的固定点反演

    通过固定点迭代的方法解决了扭曲反演的技术性挑战，设计了用于图像生成和处理的基于文本引导的扩散模型，并通过提示感知的编码调整改进了反演质量，最终在多个下游任务中取得了显著的改进。

    Dec, 2023

  • 基于粒子滤波的潜在扩散逆问题解决方案

    本研究针对图像逆问题中现有方法未充分探索解空间的不足，提出了一种基于粒子滤波的潜在扩散方法。该方法通过初始阶段的非线性解空间探索，显著提升了超分辨率、去模糊和图像修复任务的解决效果，超越了当前最先进的PSLD求解器。

    Aug, 2024

  • 关于扩散模型在逆问题中的应用研究

    本研究解决了扩散模型在逆问题应用中的信息不足，提供了无监督先验的有效性综述。通过对现有方法的分类和比较，揭示了不同技术之间的联系，并讨论了使用潜在扩散模型面临的挑战与解决方案。这项工作为扩散模型与逆问题的结合提供了宝贵的参考资源。

    Sep, 2024