Jun, 2023

DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

PDF
TL;DR本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。
发现论文，激发创造
  • DragonDiffusion：在扩散模型上实现拖拽式操作

    本文介绍了一种基于 DragonDiffusion 的图像编辑方法，通过构建一个分类器指导策略，将编辑信号转化为梯度并利用特征对应损失修改分布式模型的中间表示，在保持原图像和编辑结果的一致性的同时，实现各种编辑模式，诸如物体移动、物体缩放、物体外观替换和内容拖动。

    Jul, 2023

  • StableDrag: 稳定点基图像编辑的拖动

    设计了一个稳定和精确的基于拖动的编辑框架 StableDrag，通过一种准确的点追踪方法和基于置信度的潜在增强策略，解决了点追踪不准确和运动监督不完整的问题，从而提高长距离操作的稳定性和操纵步骤中的优化潜在质量。通过在 DragBench 上进行广泛的定性实验和定量评估，实例化了 StableDrag-GAN 和 StableDrag-Diff 两种稳定的图像编辑模型。

    Mar, 2024

  • 通过扩散语义传播进行交互式基于点的编辑

    DragNoise 利用 U-Net 的预测噪音输出作为语义编辑器，实现了稳定和高效的扩散语义编辑，并通过比较实验证明，与 DragDiffusion 相比，DragNoise 具有更好的控制和语义保留，优化时间减少了 50% 以上。

    Apr, 2024

  • 旋转拖拽：基于点的图像编辑与旋转扩散特征

    通过利用旋转图像的特征映射，精确跟踪控制点并保证高图像保真度，我们提出了一种名为 RotationDrag 的新方法，该方法在用户意图的平面旋转图像内容方面改进了基于点的图像编辑性能，并构建了一个针对平面旋转场景的基准测试 RotateBench 来评估点基图像编辑方法的性能。

    Jan, 2024

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

    提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

    Mar, 2024

  • E$^{2}$GAN: 图像到图像翻译的高效 GAN 训练

    通过利用大规模的文本到图像扩散模型进行数据提炼，我们提出了一种更高效的方法，通过精细调整通用化特征的基础生成对抗网络模型，而不是重新训练整个基础模型，并采用简单但有效的秩搜索过程来进行低秩适应，从而显著减少了培训成本和与每个概念相关的存储，使得移动设备能够高效地实现实时高质量的图像编辑。

    Jan, 2024

  • GeoDiffuser：基于几何的扩散模型图像编辑

    GeoDiffuser 是一种优化为基础的方法，将常见的二维和三维基于图像的对象编辑功能统一为单一方法，通过将图像编辑操作视为几何变换，并将其直接合并到扩散模型的注意力层中隐式执行编辑操作，以实现保持对象风格并生成合理图像的目标函数进行训练 - free 优化方法。

    Apr, 2024

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023

  • GoodDrag：面向扩散模型的拖拽编辑良好实践

    介绍了 GoodDrag，一种改善拖拽编辑稳定性和图像质量的新方法。通过引入 AlDD 框架进行扩散过程中的拖拽和去噪操作交替，有效提高结果的保真度。提出了信息保持的运动监督操作，以保持精确操作和减少伪影。除此之外，通过引入 Drag100 数据集和开发专用的质量评估指标，Dragging Accuracy Index 和 Gemini Score 来贡献拖拽编辑的基准测试。广泛的实验证明，所提出的 GoodDrag 在定性和定量上与最先进的方法相比具有优势。

    Apr, 2024