该研究提出一种针对去噪扩散概率模型 (DDPM) 的替代性噪声空间,以便进行广泛的编辑操作,并介绍了一种反演方法,用于提取任何给定图像(真实或人工生成的)的适合进行编辑的噪声生成图。
Apr, 2023
文本引导扩散模型通过分离源图像和目标扩散分支,实现图像编辑的内容保留和编辑保真度优化,通过三行代码实现的直接反演技术在编辑基准测试中表现出卓越的性能和极大的加速。
Oct, 2023
对于扩散模型,尽管反演性编辑取得了一定进展,但基于文本的图像编辑仍面临困难。本研究提出了一种无需显式反演的编辑方法(InfEdit),通过引入特殊方差调度和统一的注意力控制机制,实现了对图像的稳定编辑和真实还原,且在各种编辑任务中表现出强大的性能和快速的实时应用潜力。
Dec, 2023
扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架,其中包含一个修正模块,用残差特征调节扩散模型权重,以填补编辑过程中准确性的差距。此外,我们引入了一种新的学习范式,旨在在编辑过程中最小化错误传播。通过大量实验证明,我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果,并在定量指标和质量评估方面表现出色。此外,我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。
我们提出了DiffEditor方法,利用图像提示和文本提示来改善细粒度的图像编辑,通过在扩散采样中引入局部组合的随机微分方程 (SDE),梯度引导和时间旅行策略,我们的方法在各种细粒度图像编辑任务中取得了最先进的性能。
Feb, 2024
通过噪声地图引导的方式,我们提出了一种适用于真实图像编辑的反演方法,它具备空间上下文且无需优化,保持了良好的编辑质量。
调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述,包括理论和实践方面,并从多个角度对这些作品进行了彻底分析和分类,介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外,对图像修复和扩展进行了特别关注,并探讨了早期的传统上下文驱动方法和当前的多模态条件方法,全面分析了它们的方法论。最后,讨论当前的限制并展望未来的研究方向。
通过对DDIM采样方程中的η的理论分析,我们引入了一种新颖适应性的扩散反演技术来进行真实图像编辑,实现了对编辑范围的灵活控制。通过与多种最近方法的全面定量和定性评估相比较,我们展示了我们方法的卓越性能,既在该领域设立了新的基准,也大大超越了现有策略。
Mar, 2024
通过对噪音模式和扩散时间步进行优化,本文提出了基于SD的TiNO-Edit方法,其能够生成与原始图像更加吻合且符合预期结果的编辑结果,同时在SD的潜在域中提出了一组新的损失函数来加速优化过程。
Apr, 2024
本文解决了少步骤扩散模型中精确图像反演和解耦图像编辑的挑战。我们提出了一种基于编码器的迭代反演技术,通过条件输入图像和先前步骤重构图像来实现图像编辑。数据显示,利用自动生成的详细文本提示,可以在少步骤扩散模型中轻松实现解耦控制,显著提升编辑的实时性和效果。
Aug, 2024