Aug, 2024

生成中间帧：适应图像到视频模型进行关键帧插值

HTML
PDF
TL;DR本研究解决了在两个输入关键帧之间生成视频序列的难题。通过轻量级微调技术，我们将预训练的大规模图像到视频扩散模型应用于关键帧插值，允许模型生成向后运动的视频。实验结果显示，我们的方法优于现有的扩散基础方法和传统的帧插值技术。
发现论文，激发创造
  • 视频扩散模型

    本研究通过提出扩展图像扩散结构的扩散模型，使得可以自然地对图像和视频数据进行联合训练以生成高保真度的时空连续的视频，并引入一种更好的有条件采样技术，得到了在文本条件视频生成任务及视频预测和无条件视频生成方面的最先进结果。

    Apr, 2022

  • MCVD：基于遮蔽条件视频扩散的预测、生成和插值

    本论文提出了一种通用框架Masked Conditional Video Diffusion（MCVD），使用基于概率条件得分的去噪扩散模型来处理所有视频合成任务，通过随机和独立的遮罩对历史或未来的帧进行条件设置，训练出一个能够执行广泛视频任务的单个模型，包括：未来/过去预测，无条件生成和插值。实验结果表明，该方法在标准视频预测和插值基准测试中产生了最先进的结果。

    May, 2022

  • 用于生成高保真长视频的潜在视频扩散模型

    该论文提出了一种基于轻量级视觉扩散模型和层级扩散概念的视频生成框架，可在有限的计算预算下生成更真实、更长的视频，同时提供了大规模文本到视频生成的扩展应用。

    Nov, 2022

  • 稳定的视频扩散：将潜在视频扩散模型扩展到大型数据集

    我们提出了稳定的视频扩散-一种用于高分辨率的文本到视频和图像到视频生成的潜在视频扩散模型。

    Nov, 2023

  • 通过内容-帧运动-潜变分解实现高效视频扩散模型

    该研究提出了一种内容-动态潜在扩散模型 (CMD)，它是针对视频生成的预训练图像扩散模型的一种高效扩展。CMD通过使用预训练图像扩散模型生成内容帧和训练轻量级扩散模型生成动态潜在表征，实现了更高质量的视频生成和降低的计算成本。

    Mar, 2024

  • 使用扩散模型的视频插值

    VIDIM是一种视频插值的生成模型，通过级联扩散模型在低分辨率和高分辨率两个阶段生成目标视频，能够处理复杂、非线性和模糊的运动，生成高保真的结果。

    Apr, 2024

  • 适应动作的潜在扩散模型用于视频帧插值

    通过结合运动估计和目标插帧帧之间的运动先验，提出了一种新的扩散框架（MADiff），该方法在生成视觉平滑和逼真结果方面显著优于现有方法。

    Apr, 2024

  • 连续布朗桥扩散下的帧内插值

    通过使用连续的布朗桥扩散方法，我们提出了一种解决帧插值中图像随机生成而非确定性生成的问题的独特方法，实验证明该方法能够在视频帧插值中取得最先进的性能，并具有进一步改进的强大潜力。

    May, 2024

  • 可控的带扩散模型的长图像动画

    在计算机视觉中，从静态图像生成逼真的动画视频是一个重要的研究领域。本文介绍了一种基于运动先验和视频扩散模型的开放领域可控图像动画方法，能够实现对可移动区域的运动方向和速度的精确控制，同时在保持内容、场景和动作协调一致性的同时生成长度超过100帧的长时间视频。

    May, 2024

  • ZeroSmooth：无需训练的扩散器自适应高帧率视频生成

    我们提出了一种对生成式视频扩散模型的训练无关的视频插值方法，通过将视频模型转换为自级联视频扩散模型并结合设计的隐藏状态校正模块，保持关键帧与插值帧之间的时间一致性。在多个受欢迎的视频模型上进行了广泛的评估，证明了该方法的有效性，特别是我们的训练无关方法甚至可以与由大量计算资源和大规模数据集支持的训练插值模型相媲美。

    Jun, 2024