ECCVSep, 2020

增强型二次视频插帧

PDF
TL;DR本文提出了一种增强型二次视频插值（EQVI）模型，该模型采用修正后的二次流场预测（RQFP）将运动估计得到的流信息更精确地编码，结合基于像素级融合的图像处理和在高维特征空间中使用参数生成的残差上下文合成网络（RCSN）来处理更加复杂的场景和动态模式，同时设计了一个多尺度融合网络（MS-Fusion）来提升性能。该模型在 AIM2020 视频时域超分辨率挑战赛中获得了第一名。
video frame interpolationcomputer visionquadratic video interpolationmotion estimationvideo temporal super-resolution
发现论文，激发创造
  • 二次视频插值

    该研究提出了一种利用加速信息的二次视频插值方法，并发展了逆向流层用于流场估计和流细化技术，以更精准地实现视频插值，以优于现有的线性模型。

    Nov, 2019

  • 使用密集查询双边相关性的视频帧插值

    本文提出了一种去除视场依赖性问题的密集查询双边相关 (DQBC) 算法来更好地建模相关性并生成更准确的运动场，该算法比现有技术更准确并具有较少的推理时间。

    Apr, 2023

  • 运动感知视频帧插帧

    该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络，通过引入新颖的分层金字塔模块，直接估计相邻帧之间的中间光流，从而解决了现有方法在复杂场景（包括遮挡和不连续运动）中易产生图像模糊和伪影的问题，并有效降低了计算成本和复杂性。实验证明，该方法在多个数据集上超越了几种代表性的视频帧插值方法，既提高了效率又保持了良好的准确性。

    Feb, 2024

  • 使用时空卷积进行视频帧插值的非线性运动估计

    本文提出了一种适应性选择运动模型的时空卷积网络来逼近像素间的运动。通过实验结果证实算法在四个数据集上的表现均优于现有算法，尤其是在处理非线性运动和运动不连续的情况下具有显著优势。

    Jan, 2022

  • 基于增强相关匹配的视频帧插值

    该研究提出了一种基于 DNN 的新框架，名为 ECM-VFI，用于高分辨率视频帧插值，包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示，该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优，并且具有最少的模型参数。

    Nov, 2021

  • 运动模糊视频插值和外推

    本研究提出了一种新的框架，该框架可以通过光流估计学习引起模糊的像素级运动，然后将已解码的特征变形以估算的光流预测多个清晰的帧，从而以一种端到端的方式从运动模糊视频中去模糊、插值和外推锐化帧。

    Mar, 2021

  • 压缩视频的多帧质量增强

    本研究提出了一种通过多帧卷积神经网络对视频进行质量增强的方法，利用支持向量机检测出压缩视频中峰值质量帧并结合运动补偿子网络和质量增强子网络来提高视频的压缩质量。

    Mar, 2018

  • 使用 Transformer 的视频帧插值

    使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法，在多个基准测试上达到了新的最先进结果。

    May, 2022

  • 通过动态自适应提升视频帧插值能力

    本文提出了一种基于优化的视频帧插值方法，该方法利用循环一致性自适应策略，结合现有预训练的插值模型中的运动估计模块，以适应测试时的未见过的运动，实现提升性能。经过各种基准测试的详尽实验表明，该方法可以提升两帧插值模型的性能，优于现有最先进的方法，即使它们使用额外的输入。

    Jun, 2023

  • XVFI: 极致视频帧插值

    本文首先呈现了一个数据集（X4K1000FPS），其中包含 1000 fps 的 4K 视频，在其中提出了一种极端的 VFI 网络，名为 XVFI-Net，可用于处理具有大运动的 4K 视频，并且基于递归多尺度共享结构，由两个级联模块组成，用于学习两个输入帧之间的双向光流，以及从目标到输入帧的双向光流学习。实验结果表明，我们的 XVFI-Net 在处理具有极端运动和复杂纹理的对象时可以成功捕获其关键信息，并展现出了极高的 VFI 性能。

    Mar, 2021