Nov, 2023

解耦内容与运动进行条件图像到视频的生成

PDF
TL;DR通过将目标 RGB 像素分解成空间内容和时间运动两个不同的组成部分，我们提出了一种解决传统 RGB 像素空间方法中涉及建模动作一致性和视觉连贯性限制的新方法。通过显式建模时间运动并将其应用于起始图像，我们改进了生成视频的时间一致性，减少了空间冗余，突出了时间细节。大量实验证实了我们的方法相对于大多数最先进的方法在效果和效率上的卓越性能。
conditional image-to-video generationci2vmotion consistencyvisual continuity3d-unet diffusion model
发现论文，激发创造
  • 具有潜在流动扩散模型的条件图像到视频生成

    本文提出了一种使用基于新颖潜在流扩散模型（LFDM）的方法，旨在从给定的图像和条件（例如笑容）中合成一个新的合理视频，该模型可以更好地综合空间细节和时间动作。

    Mar, 2023

  • Motion-I2V: 显式运动建模的一致且可控的图像到视频生成

    Motion-I2V 是一个用于生成一致且可控的图像到视频的新型框架，通过显式的运动建模将图像到视频分解为两个阶段。

    Jan, 2024

  • ConsistI2V：增强图像到视频生成的视觉一致性

    使用扩散方法提升图像到视频的视觉一致性，通过引入空时注意力和从低频带噪声初始化的方式，生成高度一致的视频。同时，根据提出的方法进行了自动生成长视频和相机运动控制方面的拓展，并通过 I2V-Bench 进行了评估，结果表明 ConsistI2V 方法的优越性。

    Feb, 2024

  • ConditionVideo: 无需训练的条件引导文本到视频生成

    在本文中，我们介绍了一种无需训练的文本到视频生成方法，通过利用现有的文本到图像生成方法生成逼真的动态视频，这种方法以条件、视频和输入文本为基础。我们的方法将运动表示明确地分为条件引导和场景运动组成，并引入了稀疏双向时空注意力来改善时序一致性。与其他比较方法相比，我们的方法在帧一致性、剪辑评分和条件精度方面表现出卓越性能。

    Oct, 2023

  • 图像到视频扩散模型中的条件图像泄漏的识别与解决

    通过研究发现图像到视频扩散模型中的条件图像泄漏问题，提出了适用于生成更具动态和自然运动的视频的插拔策略。

    Jun, 2024

  • 文本到视频生成的层次化时空解耦

    提出了 HiGen，一种基于扩散模型的方法，通过从结构层面和内容层面解耦视频的空间和时间因素，实现了在生成视频时具备语义准确性和运动稳定性的方法。

    Dec, 2023

  • I2VEdit: 通过图像到视频扩散模型进行首帧引导视频编辑

    通过使用预训练的图像到视频模型，我们介绍了一种新颖而通用的方法，将图像编辑工具的适用范围扩展到视频中，通过从单个帧到整个视频的传播编辑来处理全局编辑，局部编辑和适度形状变化，并且通过细粒度的注意力匹配来实现精确的调整，同时采用跳跃间隔策略来减轻多个视频片段之间自回归生成所带来的质量退化。实验结果证明了我们的框架在细粒度视频编辑方面的优异性能，并证明其能够产生高质量、时间上连续的输出。

    May, 2024

  • 使用图像扩散模型编辑具有时间一致性的视频

    通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

    Aug, 2023

  • 外观和运动条件下的视频预测

    该研究介绍了一种通过给定外观和运动条件生成未来图像的方法，在条件不确定性下有着很好的表现，通过开发创新的条件方案，结合对外观和动作的识别，能够更好地进行视频预测，已在面部表情和人类动作数据集上进行了验证。

    Jul, 2018

  • I2VGen-XL: 通过级联扩散模型实现高质量图像到视频的合成

    提出了 I2VGen-XL 的级联方法，通过将两个因素解耦并利用静态图像作为关键指导，能够同时提高模型的语义准确性、细节的连续性和视频的清晰度。

    Nov, 2023