Nov, 2021

基于流引导注意力相关和递归增强的深度联合消除模糊和多帧插值

PDF
TL;DR本文提出了一种新颖的联合去模糊和多帧插值（DeMFI）框架，称为 DeMFI-Net，它基于基于流引导的注意力相关特征增强（FAC-FB）模块和递归增强（RB）准确地将低帧率的模糊视频转换为高帧率的清晰视频，用于多帧插值（MFI）。DeMFI-Net 通过 FAC-FB 模块执行去模糊和 MFI，其中其基线版本通过 FAC-FB 模块执行特征流变形，以获得清晰插值帧，并去模糊两个中心输入帧。此外，其扩展版本基于基于像素流的变形和 GRU-based RB 进一步改善了联合任务性能。因此，我们的 DeMFI-Net 在各种数据集上均取得了最先进的性能，比最近的最先进方法有显著的差距，既可以去模糊也可以进行 MFI。
demfi-netmulti-frame interpolationdeblurringflow-guided attentive-correlation-based feature bolsteringrecursive boosting
发现论文，激发创造
  • FMA-Net: 基于流向引导的动态滤波和多注意力迭代特征精炼的联合视频超分辨率和去模糊

    通过联合学习视频超分辨率和去模糊的方法，本文提出了一种名为 VSRDB 的视频清晰恢复方案，以从模糊的低分辨率视频中还原出干净的高分辨率视频。通过 FGDF 和 FRMA 两个部分构成的 FMA-Net 框架，我们的方法能够精确估计时空变化的退化和恢复内核，并通过迭代特征细化的方式进行多注意力的特征改进。鲁棒的实验证明了本文提出的 FMA-Net 在定量和定性方面优于现有的方法。

    Jan, 2024

  • ST-MFNet：基于时空多流网络的帧插值

    通过深度学习中的 Spatio-Temporal Multi-Flow 结构实现视频帧插值，采用 3D CNN 模型处理不同的视觉场景，最终应用 ST-GAN 框架进行效果提升，该方法在 14 个最新最优模型中赢得最优结果，PSNR 达到 1.09dB。

    Nov, 2021

  • 运动感知视频帧插帧

    该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络，通过引入新颖的分层金字塔模块，直接估计相邻帧之间的中间光流，从而解决了现有方法在复杂场景（包括遮挡和不连续运动）中易产生图像模糊和伪影的问题，并有效降低了计算成本和复杂性。实验证明，该方法在多个数据集上超越了几种代表性的视频帧插值方法，既提高了效率又保持了良好的准确性。

    Feb, 2024

  • 视频帧插值的分离式运动建模

    通过引入分解运动建模 (MoMo) 的扩散式方法进行视频帧插值，聚焦于中间运动建模，以增强视觉质量。我们提出了分解的两阶段训练过程，首先训练一个帧合成模型生成输入对及其光流的帧，然后采用我们的扩散 U-Net 架构的运动扩散模型在帧之间生成双向光流。与像素空间的生成建模方法相比，通过利用更简单的低频运动表示，我们的方法在感知性能度量上取得了优越的效果和较低的计算要求。在各个基准测试中，我们的方法超越了最先进的方法，展示了其在视频帧插值中的效力和高效性。

    Jun, 2024

  • 模糊视频帧插值的三阶级联框架

    这篇论文提出了一个简单的端到端三阶段框架，以从模糊视频中充分提取有用信息，解决了模糊视频帧插值的挑战性问题，并在多个实验结果中展示了其有效性。

    Oct, 2023

  • 基于可变形卷积和粗到细的三维卷积神经网络提升视频帧插值

    本研究提出了一种使用可变形卷积的视频帧插值方法，使用粗到细的 3D CNN 增强多流预测，实验结果表明，该方法的干涉性能优于其他现有算法，最高可以获得 0.19dB 的 PSNR 增益。

    Feb, 2022

  • 基于感知的视频帧插值方法：非对称混合

    针对视频帧插值中的模糊和幻影效果等问题，我们提出了一种名为 PerVFI（以感知为导向的视频帧插值）的新方法，采用了 Asymmetric Synergistic Blending 模块，通过从两侧提取特征进行协同融合，使用稀疏拟二进制掩膜有效减轻幻影和模糊伪影，并采用基于归一化流的生成模型和负对数似然损失来学习输出的条件分布，进一步提高生成的图像细节的清晰度。实验证明，PerVFI 相较于现有方法在感知质量上有显著改进。

    Apr, 2024

  • LADDER：一种视频帧插值的高效框架

    本研究介绍了一种有效的视频帧插值框架，通过采用深度卷积和创新的高清增强策略，实现了对视频帧处理效能和质量的平衡。

    Apr, 2024

  • XVFI: 极致视频帧插值

    本文首先呈现了一个数据集（X4K1000FPS），其中包含 1000 fps 的 4K 视频，在其中提出了一种极端的 VFI 网络，名为 XVFI-Net，可用于处理具有大运动的 4K 视频，并且基于递归多尺度共享结构，由两个级联模块组成，用于学习两个输入帧之间的双向光流，以及从目标到输入帧的双向光流学习。实验结果表明，我们的 XVFI-Net 在处理具有极端运动和复杂纹理的对象时可以成功捕获其关键信息，并展现出了极高的 VFI 性能。

    Mar, 2021

  • IFRNet：用于高效帧插值的中间特征精化网络

    本文提出了一种基于编码器 - 解码器网络的视频帧插值方法 IFRNet，该方法通过提取输入数据的金字塔特征和应用中间流场实现帧合成，同时引入了任务导向的光流蒸馏损失和几何一致性正则项进行优化，实验表明该方法具有出色的性能和快速的推理速度。

    May, 2022