Nov, 2021

基于增强相关匹配的视频帧插值

PDF
TL;DR该研究提出了一种基于 DNN 的新框架，名为 ECM-VFI，用于高分辨率视频帧插值，包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示，该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优，并且具有最少的模型参数。
enhanced correlation matchingvideo frame interpolation networkrecurrent pyramid architectureoptical flow estimationwarping and blending network
发现论文，激发创造
  • 深度感知视频帧插值

    该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法，其中利用深度感知流投影层来合成中间流动图像，并且通过分类学习来收集周边像素的上下文信息，实现了输入帧、深度图和像素之间的变换以实现帧合成。

    Apr, 2019

  • Super SloMo: 多个中间帧的高质量视频插帧估计

    本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模，同时考虑运动解释和遮挡关系的方法，其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流，并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验，结果表明其表现优于现有方法。

    Nov, 2017

  • 使用相关网络的视频建模

    该文提出了一种基于可学习相关算子的替代方法，用于在视频中识别动作，并成功地应用在行为识别的多个数据集上，表现比流行的二元网络更加出色并且速度更快。

    Jun, 2019

  • FILM: 大运动帧内插值

    本文提出了一种针对大幅度中间动作的帧内插法算法，采用多尺度特征提取器的单一统一网络来进行训练，通过优化 Gram 矩阵损失实现了高质量的视频帧合成，竞争性地超越其他基于感知损失的方法，在多个基准测试中获得了更高的分数，并通过实验证明了该模型在难度较大的近似照片数据集上的有效性。

    Feb, 2022

  • 模糊视频帧插值

    本研究提出了一种模糊视频帧插值方法，通过金字塔模块和内部循环递推模块实现一定程度上同时减少运动模糊和提高帧率。实验证明，该方法在影像增强方面表现优异。

    Feb, 2020

  • 基于流的视频帧合成的邻域对应匹配

    引入基于邻居对应匹配算法的视频帧合成方法，通过多尺度空间 - 时间邻域建立简化多运动场景中的帧间插值问题，并应用于视频压缩等实际场景，取得了最佳效果。

    Jul, 2022

  • 统一的金字塔循环网络用于视频帧插值

    UPR-Net 是一种基于光流和轻量级循环模块的新型统一金字塔递归网络，采用迭代合成策略和双向光流估计来提高大运动情况下的帧间插值鲁棒性能。

    Nov, 2022

  • 自适应卷积实现视频帧插值

    通过使用一个深度卷积神经网络，将视频帧的插值过程作为一个单一卷积过程来处理，可以更好地解决运动估计质量的问题，并且能够优雅地处理一些挑战如遮挡，模糊和亮度变化，从而实现高质量的视频帧插值。

    Mar, 2017

  • 运动感知视频帧插帧

    该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络，通过引入新颖的分层金字塔模块，直接估计相邻帧之间的中间光流，从而解决了现有方法在复杂场景（包括遮挡和不连续运动）中易产生图像模糊和伪影的问题，并有效降低了计算成本和复杂性。实验证明，该方法在多个数据集上超越了几种代表性的视频帧插值方法，既提高了效率又保持了良好的准确性。

    Feb, 2024

  • 使用密集查询双边相关性的视频帧插值

    本文提出了一种去除视场依赖性问题的密集查询双边相关 (DQBC) 算法来更好地建模相关性并生成更准确的运动场，该算法比现有技术更准确并具有较少的推理时间。

    Apr, 2023