Jun, 2024

CoNo：用于无需调整的长视频扩散的一致性噪声注入

PDF
TL;DR通过引入 “回溯” 机制和设计长期一致性正则化来提高视频剪辑之间的细粒度场景过渡，以及消除通过噪声预测扩展视频内容时的内容偏移，该研究提出了无需调优的长视频扩散方法，并在单一和多个文本提示条件下进行了广泛的实验验证。
tuning-free long video diffusionconsistency noise injectionscene consistencyfine-grained transitionlong-term consistency regularization
发现论文，激发创造
  • FreeNoise：无需调整的长视频扩散通过噪音重新调度

    利用大规模视频数据集和扩散模型的进展，本研究通过引入多个文本条件，拓展了文本驱动视频生成模型的生成能力，解决了现有模型在生成高保真长视频和针对多文本条件的支持方面的局限性。

    Oct, 2023

  • 保留自身关联性：一种视频扩散模型的噪声先验

    本文提出了一种新的视频综合方法，它使用预训练模型，并使用经过精心设计的视频噪声先验来生成高质量，时域一致的序列帧，获得了在 UCF-101 和 MSR-VTT 基准测试上 SOTA 的无需训练文本到视频结果。同时，在较小的 UCF-101 基准测试中使用更少的计算资源， $10 imes$ 更小的模型，达到了 SOTA 的视频生成质量。

    May, 2023

  • 一致性调节的视频生成

    通过四个模块的新型框架生成高质量的视频，并且能够优化每帧视频中的背景和前景的一致性。

    Mar, 2024

  • StoryDiffusion: 长距离图像和视频生成的一致性自注意力

    通过引入一种新的自我关注计算方式（Consistent Self-Attention），以及引入一种语义空间时间运动预测模块（Semantic Motion Predictor），本文提出了一种名为 StoryDiffusion 的框架，能够生成包含丰富内容的一致图像或视频，用来描述基于文本的故事。

    May, 2024

  • 基于扩散模型的带有噪声约束的平滑视频合成：一次性视频调整

    通过引入噪声约束和新的视频评估指标，本文改进了现有一次性视频调优方法，在各种基线上产生了更平滑的视频。

    Nov, 2023

  • Video ControlNet：条件图像扩散模型实现时域一致的虚拟到真实视频翻译

    本研究提出了一种高效有效的方法，通过利用条件图像扩散模型实现长度可变视频中时间一致的合成到真实视频转换，同时保持视频的时空一致性。我们通过使用可用的合成视频的光流信息，通过联合噪声优化有效地最小化了时空不一致性，实现对多个合成图像生成的平行化。通过在各种综合基准上进行的大量实验证明了我们的方法的有效性，并且我们的方法不需要对扩散模型进行任何培训或微调。 最后，我们证明了我们的方法在时空一致性和视觉质量方面均优于其他基线方法。

    May, 2023

  • 长期视频预测的时间一致性视频 Transformer

    通过引入基于向量量化的潜在动态视频预测模型和 MaskGit 先验，我们提出了一种名为 TECO 的模型，它可以在训练和生成过程中有效地处理数百帧的长视频以实现长期时间一致性，不仅在简单的迷宫和大型 3D 世界中，而且在真实世界的复杂视频中也优于 SOTA 基准。

    Oct, 2022

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018

  • 可控的带扩散模型的长图像动画

    在计算机视觉中，从静态图像生成逼真的动画视频是一个重要的研究领域。本文介绍了一种基于运动先验和视频扩散模型的开放领域可控图像动画方法，能够实现对可移动区域的运动方向和速度的精确控制，同时在保持内容、场景和动作协调一致性的同时生成长度超过 100 帧的长时间视频。

    May, 2024

  • 潜在变形：用于零样本视频到视频翻译的一致性扩散潜变量

    通过图像扩散模型的生成能力，我们提出了一种名为 LatentWarp 的新的零样本视频 - 视频翻译框架，通过约束查询令牌的时间一致性，在潜在空间中进一步结合了变形操作以约束查询令牌，从而实现了生成视频的视觉时间相干性的提升。

    Nov, 2023