EDICT: 基于耦合变换的精确扩散反演
本文介绍了一种精确的图片逆向生成技术,实现了基于文本的图片编辑,通过引入Pivotal inversion和NULL-text optimization技术,以条件嵌入为导向,避免了模型权重的繁琐调整,并在真实照片上进行了高保真度编辑。
Nov, 2022
本文提出一种负激励反演方法,通过前向传播实现等效重建来加速处理图像编辑中的扩散模型,实验证明与现有方法相比,我们的方法的重建质量是可比的,更快,可用于改善扩散模型的重建质量。
May, 2023
提出了一种基于残差去噪扩散模型(RDDM)的图像生成和恢复方法,该方法通过预测残差来表示从目标域到输入域的扩散方向,并同时估计噪声以考虑扩散过程中的随机扰动,从而实现了图像生成和恢复的统一。
Aug, 2023
使用生成对抗网络 (GAN) 和去噪扩散隐式模型 (DDIM) 的加速迭代扩散反演方法 (AIDI) 在图像编辑任务中取得了更高的重构准确性和更好的稳健性。
Sep, 2023
通过逆扩散过程改进图像生成速度和质量的两个主要贡献是:首先,通过在图像和噪声之间的四分之一圆弧角度上重新参数化扩散过程,消除了两个奇点,并将扩散演化表达为良好行为的常微分方程。其次,直接使用网络直接估计图像和噪声,使得逆扩散步骤中的更新步骤更加稳定,因为准确估计图像和噪声在过程的不同阶段都是关键的。通过这些改变,我们的模型能够更快地生成高质量的图像,并且用Frechet Inception距离(FID)、空间Frechet Inception距离(sFID)、准确率和召回率等度量得出更高质量的生成图像。
Oct, 2023
对于扩散模型,尽管反演性编辑取得了一定进展,但基于文本的图像编辑仍面临困难。本研究提出了一种无需显式反演的编辑方法(InfEdit),通过引入特殊方差调度和统一的注意力控制机制,实现了对图像的稳定编辑和真实还原,且在各种编辑任务中表现出强大的性能和快速的实时应用潜力。
Dec, 2023
通过固定点迭代的方法解决了扭曲反演的技术性挑战,设计了用于图像生成和处理的基于文本引导的扩散模型,并通过提示感知的编码调整改进了反演质量,最终在多个下游任务中取得了显著的改进。
Dec, 2023
扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架,其中包含一个修正模块,用残差特征调节扩散模型权重,以填补编辑过程中准确性的差距。此外,我们引入了一种新的学习范式,旨在在编辑过程中最小化错误传播。通过大量实验证明,我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果,并在定量指标和质量评估方面表现出色。此外,我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。
Dec, 2023
通过对DDIM采样方程中的η的理论分析,我们引入了一种新颖适应性的扩散反演技术来进行真实图像编辑,实现了对编辑范围的灵活控制。通过与多种最近方法的全面定量和定性评估相比较,我们展示了我们方法的卓越性能,既在该领域设立了新的基准,也大大超越了现有策略。
Mar, 2024
最近,文本引导的扩散模型取得了强大的图像处理能力。然而,将这些方法应用于真实图像需要将图像反转到预训练的扩散模型的领域中。实现准确的反转仍然是一个挑战,特别是对于训练用于生成具有少量降噪步骤的图像的最新模型。在这项工作中,我们引入了一种具有高质量操作比的反转方法,提高重建准确性而不增加操作次数。我们的方法建立在扩散采样过程的反转基础之上,采用在每个反转采样步骤中进行迭代降噪的机制。该机制通过迭代应用预训练的扩散模型,并对这些预测进行平均,从而改善了沿前向扩散轨迹预测点的逼近性。我们使用各种采样算法和模型对我们的RenNoise技术的性能进行评估,并进行全面的评估和比较,展示了其在准确性和速度方面的有效性。此外,我们通过在真实图像上展示基于文本的图像编辑,证实了我们的方法的可编辑性。
Mar, 2024