Jun, 2024

ZeroSmooth：无需训练的扩散器自适应高帧率视频生成

PDF
TL;DR我们提出了一种对生成式视频扩散模型的训练无关的视频插值方法，通过将视频模型转换为自级联视频扩散模型并结合设计的隐藏状态校正模块，保持关键帧与插值帧之间的时间一致性。在多个受欢迎的视频模型上进行了广泛的评估，证明了该方法的有效性，特别是我们的训练无关方法甚至可以与由大量计算资源和大规模数据集支持的训练插值模型相媲美。
发现论文，激发创造
  • SF-V：单向视频生成模型

    通过对预训练的视频扩散模型进行对抗训练，我们提出了一种新颖的方法，通过单步合成高质量视频来获得单步视频生成模型，捕捉视频数据中的时间和空间依赖关系，从而大大减少计算成本，为实时视频合成和编辑铺平了道路。

    Jun, 2024

  • 视频扩散模型

    本研究通过提出扩展图像扩散结构的扩散模型，使得可以自然地对图像和视频数据进行联合训练以生成高保真度的时空连续的视频，并引入一种更好的有条件采样技术，得到了在文本条件视频生成任务及视频预测和无条件视频生成方面的最先进结果。

    Apr, 2022

  • 用于生成高保真长视频的潜在视频扩散模型

    该论文提出了一种基于轻量级视觉扩散模型和层级扩散概念的视频生成框架，可在有限的计算预算下生成更真实、更长的视频，同时提供了大规模文本到视频生成的扩展应用。

    Nov, 2022

  • 基于扩散模型的带有噪声约束的平滑视频合成：一次性视频调整

    通过引入噪声约束和新的视频评估指标，本文改进了现有一次性视频调优方法，在各种基线上产生了更平滑的视频。

    Nov, 2023

  • VIDM: 视频隐式扩散模型

    该研究提出基于扩散模型的视频生成方法，通过隐式条件建模来模拟运动效果，并提出多种策略来优化生成视频的质量。实验证明，该方法在 FVD 得分和视觉质量方面明显优于现有的以生成对抗网络为基础的方法。

    Dec, 2022

  • VideoCrafter2：克服数据限制以提高视频扩散模型的质量

    基于给定提示生成视频的文本到视频生成旨在生成可信的视频。最近，一些商业视频模型能够生成具有最小噪声、出色细节和高美观分数的视频。然而，这些模型依赖于大规模、经过良好过滤、高质量的视频，而这对社区来说是不可获得的。许多现有的研究工作使用低质量的 WebVid-10M 数据集来训练模型，由于模型的优化是为了适应 WebVid-10M，因此很难生成高质量的视频。在这项工作中，我们探索了从稳定扩散中延伸的视频模型的训练方案，并研究了利用低质量视频和合成高质量图像获取高质量视频模型的可行性。我们首先分析视频模型的空间和时域模块与低质量视频的分布偏移之间的关联。我们观察到，与仅训练时域模块相比，所有模块的完整训练会导致空间和时域模块之间更强的耦合。基于这种更强的耦合，我们通过使用高质量图像微调空间模块来将分布向更高质量转移，而不会导致运动退化，从而获得通用的高质量视频模型。评估工作说明了所提方法的优越性，特别是在图片质量、动作和概念组合方面。

    Jan, 2024

  • 稳定的视频扩散：将潜在视频扩散模型扩展到大型数据集

    我们提出了稳定的视频扩散 - 一种用于高分辨率的文本到视频和图像到视频生成的潜在视频扩散模型。

    Nov, 2023

  • FreeNoise：无需调整的长视频扩散通过噪音重新调度

    利用大规模视频数据集和扩散模型的进展，本研究通过引入多个文本条件，拓展了文本驱动视频生成模型的生成能力，解决了现有模型在生成高保真长视频和针对多文本条件的支持方面的局限性。

    Oct, 2023

  • FreeInit: 视频扩散模型初始化缺口的桥梁

    通过深入研究视频扩散模型的噪声初始化，我们发现了一种训练与推理之间的隐式差距，为此我们提出了一种名为 FreeInit 的简洁而有效的推理采样策略，显著提高了扩散模型生成的视频的时间一致性。

    Dec, 2023

  • 4Diffusion: 多视角视频扩散模型的 4D 生成

    我们提出了一种新颖的 4D 生成管道，名为 4Diffusion，旨在从单目视频中生成空间时间一致的 4D 内容。通过将可学习的运动模块与冻结的 3D 感知扩散模型结合，我们设计了一个为多视图视频生成量身定制的统一扩散模型，以捕捉多视图空间时间相关性。通过在精心策划的数据集上训练，我们的扩散模型获得了合理的时间一致性，并固有地保留了 3D 感知扩散模型的泛化性和空间一致性。随后，我们提出了基于我们的多视图视频扩散模型的 4D 感知得分蒸馏采样损失，以优化由动态 NeRF 参数化的 4D 表示，从而消除多个扩散模型引起的差异，实现生成空间时间一致的 4D 内容。此外，我们设计了一个锚点损失，以增强外观细节并促进动态 NeRF 的学习。广泛的定性和定量实验证明，我们的方法相比之前的方法具有更好的性能。

    May, 2024