通过潜空间优化进行连贯和多模态图像修复
本文介绍一种基于贝叶斯法的COPAINT算法,其使用扩散模型来修复图像并通过逐步减小误差的方式来减少与参考图像的偏差,从而优于现有的扩散模型方法。
Apr, 2023
本文提出了一种基于潜在扩散模型的工具Diffusion Brush,用于对人工智能合成的图像进行高效的局部微调,在保留图像原始内容的同时,引入新的随机噪声模式以定位特定区域,通过与其他图像修复技术和编辑软件的比较,验证了我们这种方法的可用性和有效性。
May, 2023
本研究提出了一种名为PhD的框架,它利用样例图像和文本描述来指定用户意图,通过对生成或编辑的图像进行插入、修补和协调来保证其视觉一致性,并通过实验验证其在主题驱动的图像编辑和基于参考主题的文本驱动场景生成方面均达到了最先进的性能。
Jun, 2023
GradPaint是一种用于图像修复的方法,通过计算模型的损失与输入图像的相干性,并使用扩散模型本身的梯度来引导生成过程,从而改善了目前基于监督和非监督方法的最新技术。
Sep, 2023
提出了一种名为Uni-paint的多模态修复统一框架,基于Stable Diffusion预训练模型,支持无条件、文本驱动、笔画驱动、示例驱动等多种修复模态,无需特定数据集的任务特定训练,通过广泛的定性和定量评估表明,该方法在保持与现有单模态方法具有可比性的基础上,提供了其他方法中不可用的多模态修复能力。
Oct, 2023
本研究介绍了一种新颖的任务——基于文本导向的主题驱动图像修复,它将文本和示例图像结合起来进行图像修复。通过同时适应这两个条件,我们提出了一种两步法的方法——DreamInpainter,该方法通过计算密集的主题特征来确保准确的主题复制,并利用一个有区分性的令牌选择模块来消除多余的主题细节,保留主题的身份,同时允许根据其他条件(如遮罩形状和文本提示)进行更改。此外,我们引入了一种解耦正则化技术,以增强在存在示例图像的情况下对文本的控制。我们广泛的实验证明了我们的方法在视觉质量、身份保护和文本控制方面的卓越性能,展示了它在文本导向的主题驱动图像修复的情境中的有效性。
Dec, 2023
本文提出了一种新的框架,利用可计算条件概率的Tractable Probabilistic Models(TPMs)来指导扩散模型的去噪过程,从而改进了受限图像生成的质量和语义连贯性。同时,该方法能接受图像特定区域的语义约束,并推动更可控的图像生成任务的发展。
Nov, 2023
调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述,包括理论和实践方面,并从多个角度对这些作品进行了彻底分析和分类,介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外,对图像修复和扩展进行了特别关注,并探讨了早期的传统上下文驱动方法和当前的多模态条件方法,全面分析了它们的方法论。最后,讨论当前的限制并展望未来的研究方向。
Feb, 2024
通过将视频修复问题作为条件生成建模问题加以解决的框架,以及利用生成方法的优势,本文展示了能够生成多样化且高质量修复效果的方法,并能够在时间、空间和语义上与给定的上下文相协调地合成新内容。
Apr, 2024
本研究解决了文本引导物体填充中图像编辑的可控性不足问题。提出了一种新的CAscaded Transformer-Diffusion(CAT-Diffusion)框架,通过将物体填充过程分为语义预填充和高保真物体生成两个阶段,从而实现了更精准的物体生成。实验结果表明,CAT-Diffusion在OpenImages-V6和MSCOCO数据集上的表现优于现有最先进的方法。
Sep, 2024