Jan, 2024

基于关键点引导的可变形图像操作使用扩散模型

PDF
TL;DR通过操作物体的关键点，引入了一种具有精确控制图像的关键点引导扩散概率模型（KDM）。我们提出了一个包含光流图的两阶段生成模型，作为中间输出，在图像和稀疏关键点之间实现了密集像素级的语义关系理解，从而实现更真实的图像生成。此外，光流的集成有助于调节顺序图像的帧间差异，展示了真实的顺序图像生成。通过多样的关键点条件的图像合成任务（包括面部图像生成、人体姿势合成和心脏超声图像预测），对 KDM 进行了评估，证明 KDM 相比最先进的模型提供了一致增强和照片般逼真的图像。
key-point-guided diffusion probabilistic modelgenerative modeloptical flow mapimage generationsequential images
发现论文，激发创造
  • 运动引导：基于可微运动估计的扩散图像编辑

    通过使用导向梯度的扩散模型生成图像，我们提出了一种零样本技术 —— 运动导向，它允许用户指定复杂的运动场并精确编辑图像中对象的布局、位置、姿态和形状。通过同时从扩散模型中采样和引导样本以实现低导向损失，我们可以获得经过运动编辑的高质量图像。

    Jan, 2024

  • 6D-Diff: 一个用于 6D 物体姿态估计的关键点扩散框架

    基于扩散模型和逆扩散算法的 6D 物体姿态估计框架，在减少噪声和不确定性的基础上实现准确的 2D-3D 对应，并通过对物体特征进行条件优化，取得了较好的性能。

    Dec, 2023

  • 通过引导式扩散模型实现可控人体动作合成

    本文提出了应用于人体动作合成的有向扩散模型的算法 GMD，并进行了大量实验验证，证明该算法在控制生成的动作的同时，显著提高了基于文本的运动生成的效果。

    May, 2023

  • 基于去噪扩散模型的人物图像合成

    使用去噪扩散模型，我们提出了一种名为 PIDM 的人体图像扩散模型，解决了复杂的转换问题，并展示了在两个大型基准测试中的显着结果，以及如何在下游任务中使用生成的图像。

    Nov, 2022

  • 扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

    提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

    Mar, 2024

  • VIDM: 视频隐式扩散模型

    该研究提出基于扩散模型的视频生成方法，通过隐式条件建模来模拟运动效果，并提出多种策略来优化生成视频的质量。实验证明，该方法在 FVD 得分和视觉质量方面明显优于现有的以生成对抗网络为基础的方法。

    Dec, 2022

  • 利用去噪扩散概率模型和流场生成注释的生物医学视频

    生物医学领域中细胞分割和跟踪在癌症研究、药物开发和发育生物学中起到至关重要的作用，为了自动化这些过程，提出了基于深度学习的分割和跟踪方法，尤其是面对生物医学成像领域中有限的标注数据，我们提出了生物医学视频扩散模型（BVDM），它能生成逼真的细胞显微视频，并通过大规模合成数据集提高细胞分割和跟踪模型的性能。

    Mar, 2024

  • EMDM：快速、高质量运动生成的高效运动扩散模型

    引入高效动作扩散模型（EMDM）用于快速高质量的人体动作生成，通过建模复杂的去噪分布在多个采样步骤中实现更大的采样步长和较少的步骤，加速生成过程并保持高质量的运动生成。

    Dec, 2023

  • MoVideo：使用扩散模型的运动感知视频生成

    提出一种新的运动感知视频生成 (MoVideo) 框架，从视频深度和光流两个方面考虑运动，并通过稀疏 - 时间扩散模型生成视频深度和光流，然后在潜在空间中生成视频，最后利用光流对不同帧进行对齐和细化，实现了文本到视频和图像到视频生成中最先进的结果。

    Nov, 2023

  • DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

    本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。

    Jun, 2023