Nov, 2023

FastBlend：一个强大的无需模型的工具包，使视频图像风格化更加简单

PDF
TL;DR通过提出名为 FastBlend 的无模型工具包来解决视频处理中的一致性问题，该工具包基于补丁匹配算法，并设计了两种推断模式：混合模式和插值模式。在混合模式下，FastBlend 通过在滑动窗口内混合帧来消除视频闪烁，并针对不同的应用场景优化计算效率和视频质量。在插值模式下，FastBlend 可以通过扩展扩散模型渲染视频。FastBlend 在视频处理中表现出色，通过广泛的实验证明了其有效性。
发现论文，激发创造
  • ZeroSmooth：无需训练的扩散器自适应高帧率视频生成

    我们提出了一种对生成式视频扩散模型的训练无关的视频插值方法，通过将视频模型转换为自级联视频扩散模型并结合设计的隐藏状态校正模块，保持关键帧与插值帧之间的时间一致性。在多个受欢迎的视频模型上进行了广泛的评估，证明了该方法的有效性，特别是我们的训练无关方法甚至可以与由大量计算资源和大规模数据集支持的训练插值模型相媲美。

    Jun, 2024

  • DiffSynth: 逼真视频合成的迭代去闪烁潜在空间

    DiffSynth 是一种新颖的方法，旨在将图像合成管道转化为视频合成管道，其中包括潜在迭代去闪烁框架和视频去闪烁算法，常用于多种视频合成任务，包括文本引导视频风格化、时尚视频合成、图像引导视频风格化、视频恢复和 3D 渲染。

    Aug, 2023

  • PFB-Diff: 文本驱动的图像编辑中的渐进式特征融合扩散

    提出了一种基于 PFB-Diff 的渐进式特征融合方法，可以有效地解决各种图像编辑任务，包括对象 / 背景替换和对象属性编辑，无需微调或训练，并展示了其在图像保真度，编辑准确性、效率和对原始图像信实性方面的优越性。

    Jun, 2023

  • Dreamix：视频传播模型是通用视频编辑器

    该研究提出了一种基于视频扩散模型的图像和视频编辑方法，利用时序信息和高分辨率信息生成与指导文本匹配的视频，并以完全时间关注和时间关注掩码联合完成模型的微调，实现了较好的编辑效果。

    Feb, 2023

  • I2VEdit: 通过图像到视频扩散模型进行首帧引导视频编辑

    通过使用预训练的图像到视频模型，我们介绍了一种新颖而通用的方法，将图像编辑工具的适用范围扩展到视频中，通过从单个帧到整个视频的传播编辑来处理全局编辑，局部编辑和适度形状变化，并且通过细粒度的注意力匹配来实现精确的调整，同时采用跳跃间隔策略来减轻多个视频片段之间自回归生成所带来的质量退化。实验结果证明了我们的框架在细粒度视频编辑方面的优异性能，并证明其能够产生高质量、时间上连续的输出。

    May, 2024

  • 自适应卷积实现视频帧插值

    通过使用一个深度卷积神经网络，将视频帧的插值过程作为一个单一卷积过程来处理，可以更好地解决运动估计质量的问题，并且能够优雅地处理一些挑战如遮挡，模糊和亮度变化，从而实现高质量的视频帧插值。

    Mar, 2017

  • 通过同步多帧扩散实现高精细和时间一致的视频风格化

    提出了一种基于文本引导的视频风格化方法，通过同步多帧扩散框架来维持视觉细节和时间一致性，实现了视觉细节和时间一致性的生成高质量和多样性的结果。

    Nov, 2023

  • BIVDiff：基于图像和视频扩散模型的无需训练的通用视频合成框架

    我们提出了一个无需训练的通用视频合成框架，命名为 BIVDiff，通过将特定的图像扩散模型与通用文本到视频基础扩散模型相结合，既实现了强大的任务泛化能力，又具有高效性。

    Dec, 2023

  • StableVideo: 基于文本的一致性感知扩散视频编辑

    通过引入时态依赖于现有的文本驱动扩散模型，使其能够生成一致的编辑对象外观，我们解决了扩散模型在自然视频编辑中编辑现有对象时难以保持其外观随时间稳定的问题。通过开发一种新颖的帧间传播机制，利用分层表示的概念将相邻帧的外观信息传播到下一帧，并基于该机制构建了一个名为 StableVideo 的文本驱动视频编辑框架，可以实现一致感知的视频编辑。广泛的实验证明了我们方法的强大编辑能力。与最先进的视频编辑方法相比，我们方法展示了卓越的定性和定量结果。

    Aug, 2023

  • 运动模糊视频插值和外推

    本研究提出了一种新的框架，该框架可以通过光流估计学习引起模糊的像素级运动，然后将已解码的特征变形以估算的光流预测多个清晰的帧，从而以一种端到端的方式从运动模糊视频中去模糊、插值和外推锐化帧。

    Mar, 2021