Dec, 2023

运动引导的潜在扩散用于时域一致的现实世界视频超分辨率

PDF
TL;DR利用预训练的隐式扩散模型，结合时序动态和创新的序列导向损失来提高视频超分辨率，实现更好的感知质量。
发现论文，激发创造
  • 通过扩散模型实现视频超分辨率中的时域一致细节合成以增强感知质量

    通过引入 Temporal Conditioning Module 和 Frame-wise Bidirectional Sampling，本文提出了一种基于 Diffusion Models 的 Video Super-Resolution 方法，显著提高了视频的感知质量。

    Nov, 2023

  • 透过循环隐空间传播实现高效视频超分辨率

    本文提出一种高效的视频超分辨率算法，通过引入高维潜在状态来隐式地传播帧之间的时序信息，以解决复杂的运动补偿问题和高计算负荷的限制，并且在超过 70 倍加速的同时，优于现有的最先进方法 DUF。

    Sep, 2019

  • 提高内容一致超分辨率扩散模型的稳定性

    通过采用扩散模型来改善图像结构以及利用生成对抗训练来增强图像细节，我们提出了一种名为内容一致超分辨率（CCSR）的方法，大大减少了基于扩散先验的超分辨率的随机性，提高了超分辨率输出的内容一致性并加速了图像生成过程。

    Dec, 2023

  • 高分辨率视频的时间一致性扩展扩散模型

    通过文本引导的潜在扩散框架，实现视频升尺度，并在保持时域一致性和质量平衡之间提供更大灵活性。

    Dec, 2023

  • 用于生成高保真长视频的潜在视频扩散模型

    该论文提出了一种基于轻量级视觉扩散模型和层级扩散概念的视频生成框架，可在有限的计算预算下生成更真实、更长的视频，同时提供了大规模文本到视频生成的扩展应用。

    Nov, 2022

  • 使用潜变量扩散模型进行高分辨率视频合成的对齐

    该研究将 LDM 范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将 LDM 应用于文本到视频模型中。

    Apr, 2023

  • 扩散促进的高动态范围视频重建

    提出了一种名为 HDR-V-Diff 的高动态范围（HDR）视频重建方法，结合扩散模型以实现 HDR 分布，通过 HDR Latent Diffusion Model（HDR-LDM）学习单个 HDR 帧的分布先验知识，通过 Temporal-Consistent Alignment Module（TCAM）学习时序信息，使用 Zero-Init Cross-Attention（ZiCA）机制整合先验分布和时序信息，从而生成具有真实细节的 HDR 帧。经过广泛实验证明，HDR-V-Diff 在多个代表性数据集上实现了最先进的结果。

    Jun, 2024

  • 扩展合成真实世界退化，用于盲视频超分辨率

    该论文提出了一种随机洗牌方法来模拟真实的降级因素并在合成的数据集上训练深度神经网络，使其在真实世界的视频超分辨率方面表现更好。结果显示，相较于 RealBasicVSR 在 NRQM 方面提高了 7.1％，相较于 BSRGAN 提高了 3.34％。同时，该论文也提出了一个新的包含高分辨率真实视频的数据集，可作为基准测试的共同参照。

    May, 2023

  • 视频生成的扩散概率建模

    本文提出了一种自回归、端到端优化的视频扩散模型，受到神经视频压缩技术的启发，可用于生成高质量的视频，并提出了可扩展的连续排名概率得分（CRPS）方法，以评估视频的概率预测能力，该方法在自然和仿真视频的多个数据集上比先前方法的感知质量和概率预测有着显著的提高。

    Mar, 2022

  • LaMD：视频生成的潜在运动扩散

    提出了一种基于 Motion Generation 的视频生成方法，通过 Latent Motion Generation 和 Video Reconstruction 实现视频生成的可控性，采用了 LaMD 框架，包括 Motion-decomposed Video Autoencoder 和 Diffusion-based Motion Generator 两部分，实现了高质量、宽泛的运动生成，并在多个基准数据集上创造了新的最先进的性能。

    Apr, 2023