Apr, 2023

Soundini: 用声音引导的扩散技术进行自然视频编辑

PDF
TL;DR本研究提出了一种使用声音引导视觉效果的方法，通过在音频视觉潜在空间中使用音频潜在表示来引导去噪扩散概率模型，利用基于光流的指导生成时间一致的视频帧，生成更具有现实主义的视觉效果。
sound-guided visual effectszero-shot settingdenoising diffusion probabilistic modelsaudio latent representationoptical flow-based guidance
发现论文，激发创造
  • 通过同步多帧扩散实现高精细和时间一致的视频风格化

    提出了一种基于文本引导的视频风格化方法，通过同步多帧扩散框架来维持视觉细节和时间一致性，实现了视觉细节和时间一致性的生成高质量和多样性的结果。

    Nov, 2023

  • 音频驱动的预训练扩散模型生成与编辑

    我们提出了一种能够在大规模图像扩散模型中实现音频条件的方法，通过将从音频剪辑中获取的特征映射到可以注入扩散模型的令牌中，引入了额外的音频 - 图像交叉注意力层，可以与扩散编辑方法相结合进行音频条件的图像编辑。

    May, 2024

  • AADiff: 音频对齐视频生成与文本到图像扩散

    本文介绍了一种新的 T2V 框架，通过引入音频信号来控制时间动态，从而使传统的 T2I 扩散生成可以与音频对齐的视频。我们提出了基于音频的区域编辑和信号平滑方法，以在视频综合的时间灵活性和一致性之间取得良好平衡，并通过实验验证了方法的有效性，并提出了实际应用。

    May, 2023

  • 声音引导下的语义视频生成

    本文提出了一种利用多模态（声音 - 图像 - 文本）嵌入空间生成逼真视频的框架，通过将声音和 StyleGAN 潜空间相结合生成一个语义上和声音一致的视频，并且在视频质量和编辑方面超过了现有的最先进方法。

    Apr, 2022

  • 声音引导的语义图像操作

    该论文提出了一种将声音直接编码成多模态（图像 - 文本）嵌入空间并从该空间中操纵图像的框架，该方法使用音频编码器从音频输入中生成潜在的表示，并基于对齐的嵌入使用直接潜在优化方法进行声音引导的图像操纵，实验证明该方法在零样本音频分类和语义级图像分类上优于其他文本和声音引导的最新方法。

    Nov, 2021

  • 声音的力量：稳定扩散下的音频反应视频生成

    通过使用包含变化的时间语义和大小的音频输入的 The Power of Sound (TPoS) 模型结合文本语义信息和经过预训练的音频编码器的顺序音频嵌入，TPoS 方法能够生成对音频有反应的视频内容，并在各个任务中展示了其有效性，与当前音频到视频生成领域的最新技术进行了比较。

    Sep, 2023

  • 神奇修复：通过观察动态视频简化照片编辑

    我们提出了一个生成模型，根据粗略编辑的图片合成一个遵循预定布局的逼真输出，并从原始图像中转移细节，同时保留其部分的身份信息，并将其调整到由新布局定义的光照和上下文。

    Mar, 2024

  • StableVideo: 基于文本的一致性感知扩散视频编辑

    通过引入时态依赖于现有的文本驱动扩散模型，使其能够生成一致的编辑对象外观，我们解决了扩散模型在自然视频编辑中编辑现有对象时难以保持其外观随时间稳定的问题。通过开发一种新颖的帧间传播机制，利用分层表示的概念将相邻帧的外观信息传播到下一帧，并基于该机制构建了一个名为 StableVideo 的文本驱动视频编辑框架，可以实现一致感知的视频编辑。广泛的实验证明了我们方法的强大编辑能力。与最先进的视频编辑方法相比，我们方法展示了卓越的定性和定量结果。

    Aug, 2023

  • 基于物理学的扩散模型的视频冲击声合成

    本文提出了一种基于物理驱动扩散模型的冲击声合成方法，该方法结合了视频内容和物理参数作为先验信息，从而可以高保真地合成出静音视频中的冲击声，并且能够灵活地进行声音编辑。

    Mar, 2023

  • I2VEdit: 通过图像到视频扩散模型进行首帧引导视频编辑

    通过使用预训练的图像到视频模型，我们介绍了一种新颖而通用的方法，将图像编辑工具的适用范围扩展到视频中，通过从单个帧到整个视频的传播编辑来处理全局编辑，局部编辑和适度形状变化，并且通过细粒度的注意力匹配来实现精确的调整，同时采用跳跃间隔策略来减轻多个视频片段之间自回归生成所带来的质量退化。实验结果证明了我们的框架在细粒度视频编辑方面的优异性能，并证明其能够产生高质量、时间上连续的输出。

    May, 2024