Dec, 2023

DragVideo: 交互式拖拽式视频编辑

PDF
TL;DR通过采用与 DragGAN 相似的拖拽式用户交互来编辑视频内容并保持时间一致性的 DragVideo，通过优化视频 U-Net 生成的扩散视频潜变量来实现所需的控制，展示了拖拽式视频编辑的可适用性和通用性。
editingvideo contentdragvideodrag-style editing techniquemotion editing
发现论文，激发创造
  • Drag-A-Video: 面向基于点的交互的非刚性视频编辑

    我们提出了一种基于扩散的新型交互式基于点的视频编辑方法，名为 Drag-A-Video，该方法允许用户在视频的第一帧上与其他帧一致变形地精确拖动实例的任意点，以精确修改视频内容。

    Dec, 2023

  • InstaDrag: 从视频中出现的快速准确基于拖动的图像编辑

    InstaDrag 是一个快速方法，通过将拖拽编辑重新定义为条件生成任务，以及在训练时使用视频帧作为数据源，可以在大约 1 秒内实现高质量的拖拽式图像编辑。

    May, 2024

  • DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

    本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。

    Jun, 2023

  • DragonDiffusion：在扩散模型上实现拖拽式操作

    本文介绍了一种基于 DragonDiffusion 的图像编辑方法，通过构建一个分类器指导策略，将编辑信号转化为梯度并利用特征对应损失修改分布式模型的中间表示，在保持原图像和编辑结果的一致性的同时，实现各种编辑模式，诸如物体移动、物体缩放、物体外观替换和内容拖动。

    Jul, 2023

  • 通过扩散语义传播进行交互式基于点的编辑

    DragNoise 利用 U-Net 的预测噪音输出作为语义编辑器，实现了稳定和高效的扩散语义编辑，并通过比较实验证明，与 DragDiffusion 相比，DragNoise 具有更好的控制和语义保留，优化时间减少了 50% 以上。

    Apr, 2024

  • GoodDrag：面向扩散模型的拖拽编辑良好实践

    介绍了 GoodDrag，一种改善拖拽编辑稳定性和图像质量的新方法。通过引入 AlDD 框架进行扩散过程中的拖拽和去噪操作交替，有效提高结果的保真度。提出了信息保持的运动监督操作，以保持精确操作和减少伪影。除此之外，通过引入 Drag100 数据集和开发专用的质量评估指标，Dragging Accuracy Index 和 Gemini Score 来贡献拖拽编辑的基准测试。广泛的实验证明，所提出的 GoodDrag 在定性和定量上与最先进的方法相比具有优势。

    Apr, 2024

  • DragNUWA: 文本、图像和轨迹融合在视频生成中的细粒度控制

    DragNUWA 是一个开放域扩散式视频生成模型，通过同时引入文本、图像和轨迹信息，提供语义、空间和时间层面的精细控制视频内容。该模型通过轨迹采样器、多尺度融合和自适应训练策略解决现有研究中有限的开放域轨迹控制问题，实验证明 DragNUWA 在视频生成中具有卓越的精细控制性能。

    Aug, 2023

  • FastDrag: 一步操作任意物体

    通过引入一种新的一步式拉动图像编辑方法 FastDrag，利用生成模型进行基于拖拽的图像编辑控制，通过潜在语义优化以及自我注意模块，加速编辑过程，提高编辑效果。

    May, 2024

  • 拖动视图：通过无表征图像生成泛化的新视图

    通过 DragView 框架，可以生成具有新视角的场景，无需 2D 先验模型或摄像机姿态估计，实现了与其他无姿态要求的场景表示网络相比优秀的视图合成质量，并能够生成具有灵活摄像机轨迹的逼真新视角。

    Oct, 2023

  • 随心所欲编辑：多粒度命令的视频描述编辑

    本文提出了一个新的视频描述编辑任务（VDEdit），旨在通过灵活的用户需求自动修订现有的视频描述。为支持 VDEdit 任务，我们首先自动构建了一个大规模基准数据集 VATEX-EDIT，描述了不同的人类活动。考虑到现实生活中的应用场景，我们还手工收集了一个电子商务基准数据集 EMMAD-EDIT。我们提出了一个统一的框架，将操作，位置，属性三元组转化为文本控制序列以处理多粒度的编辑命令，并采用综合性指标评估 VDEdit 功能。

    May, 2023