ICMLJun, 2024

FRAG：频率适应群组用于扩散视频编辑

PDF
TL;DR本研究重点关注视频编辑中的高质量调整，提出了一种名为 Frequency Adapting Group (FRAG) 的方法，通过引入一个新的接受域分支，在去噪过程中保留高频分量，从而提高视频编辑的一致性和保真度。该方法在 TGVE 和 DAVIS 等视频编辑基准上得到了验证。
video editingquality edithigh-frequency leakfrequency adapting groupdenoising process
发现论文，激发创造
  • FreeDiff: 基于扩散模型的图像编辑的递进频率截断

    通过频率截断的方法，我们提出了一种新颖的 fine-tuning 自由方法用于改善扩散模型的引导，从而实现了在各种编辑任务和不同图像集上与最先进方法相媲美的结果，突显了它在图像编辑应用中的多功能潜力。

    Apr, 2024

  • FRDiff: 精细的零编码加速扩散模型的特征复用

    引入一种高级加速技术 ——FRDiff，通过利用扩散模型中固有的时间冗余，重复使用具有高时间相似性的特征图，实现了在各种生成任务中在保真度和延迟折衷之间平衡的 Pareto 前沿。

    Dec, 2023

  • 高保真基于扩散的图像编辑

    扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

    Dec, 2023

  • 适频扩散模型用于实景去雾

    基于条件扩散模型的去雾方法利用深度学习，通过降低频谱偏差和模拟多样化的雾气，显著改进了真实世界图像去雾的效果。

    Aug, 2023

  • I2VEdit: 通过图像到视频扩散模型进行首帧引导视频编辑

    通过使用预训练的图像到视频模型，我们介绍了一种新颖而通用的方法，将图像编辑工具的适用范围扩展到视频中，通过从单个帧到整个视频的传播编辑来处理全局编辑，局部编辑和适度形状变化，并且通过细粒度的注意力匹配来实现精确的调整，同时采用跳跃间隔策略来减轻多个视频片段之间自回归生成所带来的质量退化。实验结果证明了我们的框架在细粒度视频编辑方面的优异性能，并证明其能够产生高质量、时间上连续的输出。

    May, 2024

  • 粗到细图像合成的扩散模型渐进去模糊

    通过将扩散模型推广到旋转坐标系并引入模糊扩散，本文提出了一种新的粗到细的图像生成过程，以此来考虑图像中不同频率的相对重要性，实验结果表明此方法在 LSUN 卧室和教堂数据集上的成果优于之前的方法。

    Jul, 2022

  • Freditor：基于频率分解的高保真可迁移 NeRF 编辑

    通过频率分解实现高保真、可迁移的 NeRF 编辑。

    Apr, 2024

  • 细节保留图像去噪的重建生成扩散模型

    提出了一种称为重建生成扩散模型 (RnG) 的新方法，该方法利用重建去噪网络恢复绝大部分底层干净信号，并采用扩散算法生成剩余的高频细节，从而提高视觉质量和感知度。通过在合成和真实去噪数据集上进行广泛实验验证了该方法的优越性。

    Sep, 2023

  • 适应动作的潜在扩散模型用于视频帧插值

    通过结合运动估计和目标插帧帧之间的运动先验，提出了一种新的扩散框架（MADiff），该方法在生成视觉平滑和逼真结果方面显著优于现有方法。

    Apr, 2024

  • 基于分层频率上采样和优化的压缩视频质量提升

    本研究提出了一种基于频率层次的上采样和优化神经网络（HFUR）来提高压缩视频质量，通过利用 DCT 域导出的先验信息进行无显式转换的频率上采样，并通过分层和迭代的优化提高最终输出的视觉质量。通过消融实验和可视化结果证明了所提出模块的有效性，并在公开基准测试集上进行了广泛实验，表明在恒定比特率和恒定 QP 模式下 HFUR 实现了最先进的性能。

    Mar, 2024