Mar, 2024

StableDrag: 稳定点基图像编辑的拖动

PDF
TL;DR设计了一个稳定和精确的基于拖动的编辑框架 StableDrag，通过一种准确的点追踪方法和基于置信度的潜在增强策略，解决了点追踪不准确和运动监督不完整的问题，从而提高长距离操作的稳定性和操纵步骤中的优化潜在质量。通过在 DragBench 上进行广泛的定性实验和定量评估，实例化了 StableDrag-GAN 和 StableDrag-Diff 两种稳定的图像编辑模型。
point-based image editingdraggandragdiffusiondrag-based editing frameworkstabledrag
发现论文，激发创造
  • DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

    本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。

    Jun, 2023

  • 旋转拖拽：基于点的图像编辑与旋转扩散特征

    通过利用旋转图像的特征映射，精确跟踪控制点并保证高图像保真度，我们提出了一种名为 RotationDrag 的新方法，该方法在用户意图的平面旋转图像内容方面改进了基于点的图像编辑性能，并构建了一个针对平面旋转场景的基准测试 RotateBench 来评估点基图像编辑方法的性能。

    Jan, 2024

  • FreeDrag：互动点基图像编辑不一定需要点跟踪

    DragGAN 在图像编辑中的准确和灵活的图像内容操纵对满足复杂和多样的需求至关重要。然而，我们观察到 DragGAN 在处理不准确的跟踪和模糊的跟踪方面存在困难。为了解决这些问题，我们提出了 FreeDrag，它在 DragGAN 的基础上采用了特征导向的方法来解放点追踪的负担，从而实现了稳定和高效的基于点的图像编辑。大量实验证明我们的方法在具有相似结构、精细细节或多点目标的挑战情景中优于 DragGAN，并实现了稳定的基于点的编辑。

    Jul, 2023

  • GoodDrag：面向扩散模型的拖拽编辑良好实践

    介绍了 GoodDrag，一种改善拖拽编辑稳定性和图像质量的新方法。通过引入 AlDD 框架进行扩散过程中的拖拽和去噪操作交替，有效提高结果的保真度。提出了信息保持的运动监督操作，以保持精确操作和减少伪影。除此之外，通过引入 Drag100 数据集和开发专用的质量评估指标，Dragging Accuracy Index 和 Gemini Score 来贡献拖拽编辑的基准测试。广泛的实验证明，所提出的 GoodDrag 在定性和定量上与最先进的方法相比具有优势。

    Apr, 2024

  • DragonDiffusion：在扩散模型上实现拖拽式操作

    本文介绍了一种基于 DragonDiffusion 的图像编辑方法，通过构建一个分类器指导策略，将编辑信号转化为梯度并利用特征对应损失修改分布式模型的中间表示，在保持原图像和编辑结果的一致性的同时，实现各种编辑模式，诸如物体移动、物体缩放、物体外观替换和内容拖动。

    Jul, 2023

  • FastDrag: 一步操作任意物体

    通过引入一种新的一步式拉动图像编辑方法 FastDrag，利用生成模型进行基于拖拽的图像编辑控制，通过潜在语义优化以及自我注意模块，加速编辑过程，提高编辑效果。

    May, 2024

  • 通过扩散语义传播进行交互式基于点的编辑

    DragNoise 利用 U-Net 的预测噪音输出作为语义编辑器，实现了稳定和高效的扩散语义编辑，并通过比较实验证明，与 DragDiffusion 相比，DragNoise 具有更好的控制和语义保留，优化时间减少了 50% 以上。

    Apr, 2024

  • 基于拖曳引导的车辆图像生成扩散模型

    本文提出了基于物理学的指导，通过优化预测模型的性能指标来生成图像，并在 Stable Diffusion 中添加了阻力引导，以生成具有最小预测阻力系数的新型车辆图像。

    Jun, 2023

  • COCO 和 Weed 数据集的稳定扩散

    通过稳定扩散模型生成高分辨率图像，并利用这些图像提高检测模型的性能，这项研究有助于将稳定扩散模型应用于不同领域的分类和检测任务。

    Dec, 2023

  • Drag-A-Video: 面向基于点的交互的非刚性视频编辑

    我们提出了一种基于扩散的新型交互式基于点的视频编辑方法，名为 Drag-A-Video，该方法允许用户在视频的第一帧上与其他帧一致变形地精确拖动实例的任意点，以精确修改视频内容。

    Dec, 2023