Feb, 2024

ConsistI2V：增强图像到视频生成的视觉一致性

PDF
TL;DR使用扩散方法提升图像到视频的视觉一致性，通过引入空时注意力和从低频带噪声初始化的方式，生成高度一致的视频。同时，根据提出的方法进行了自动生成长视频和相机运动控制方面的拓展，并通过 I2V-Bench 进行了评估，结果表明 ConsistI2V 方法的优越性。
发现论文，激发创造
  • Motion-I2V: 显式运动建模的一致且可控的图像到视频生成

    Motion-I2V 是一个用于生成一致且可控的图像到视频的新型框架，通过显式的运动建模将图像到视频分解为两个阶段。

    Jan, 2024

  • 解耦内容与运动进行条件图像到视频的生成

    通过将目标 RGB 像素分解成空间内容和时间运动两个不同的组成部分，我们提出了一种解决传统 RGB 像素空间方法中涉及建模动作一致性和视觉连贯性限制的新方法。通过显式建模时间运动并将其应用于起始图像，我们改进了生成视频的时间一致性，减少了空间冗余，突出了时间细节。大量实验证实了我们的方法相对于大多数最先进的方法在效果和效率上的卓越性能。

    Nov, 2023

  • I2VGen-XL: 通过级联扩散模型实现高质量图像到视频的合成

    提出了 I2VGen-XL 的级联方法，通过将两个因素解耦并利用静态图像作为关键指导，能够同时提高模型的语义准确性、细节的连续性和视频的清晰度。

    Nov, 2023

  • I2VEdit: 通过图像到视频扩散模型进行首帧引导视频编辑

    通过使用预训练的图像到视频模型，我们介绍了一种新颖而通用的方法，将图像编辑工具的适用范围扩展到视频中，通过从单个帧到整个视频的传播编辑来处理全局编辑，局部编辑和适度形状变化，并且通过细粒度的注意力匹配来实现精确的调整，同时采用跳跃间隔策略来减轻多个视频片段之间自回归生成所带来的质量退化。实验结果证明了我们的框架在细粒度视频编辑方面的优异性能，并证明其能够产生高质量、时间上连续的输出。

    May, 2024

  • 使用图像扩散模型编辑具有时间一致性的视频

    通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

    Aug, 2023

  • FlowVid: 克服不完美光流以保持一致的视频合成

    这篇论文提出了一种一致的视频到视频合成框架，通过同时利用源视频中的空间条件和时间光流线索，处理流程中的不完美估计并实现了与现有 I2I 模型的无缝集成、高效和高质量视频合成。

    Dec, 2023

  • 基于世界一致性的视频到视频合成

    提出了一种新颖的 vid2vid 框架，它使用所渲染的所有过去帧来生成当前帧，并通过引入物理基础的 guidance image 来提高 3D 世界的一致性，并使用新颖的神经网络架构利用存储在 guidance image 中的信息。

    Jul, 2020

  • I2V-Adapter: 视频扩散模型的通用图像到视频适配器

    在 AI 驱动视频生成领域，本研究通过引入 I2V-Adapter 解决了将静态图像转化为动态视频序列的复杂挑战，保持了 T2I 模型的结构完整性和运动模块，并在保持空间细节的同时降低了可训练参数的需求，这一性能上的突破在创意应用中具备了广泛的适用性。

    Dec, 2023

  • I4VGen：文本到视频生成的图像媒介

    使用 I4VGen 框架，通过文本到图像到视频的多阶段过程，生成了更具视觉逼真度和文本准确性的视频，并能有效提升现有图像到视频扩散模型的整体质量。

    Jun, 2024

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018