Jun, 2020

增强变形可分离卷积实现多视频帧插值

PDF
TL;DR该论文提出了一种增强的可变形可分离卷积（EDSC）来生成视频序列的中间帧，并能够以任意时间位置生成任意帧。通过学习自适应卷积核、偏移量、掩码和偏置等多个组件，能够从非局部邻域获取信息，并且通过扩展的 coord-conv 技巧，能够控制中间时间步来生成多个中间帧。实验结果表明，该方法在广泛的数据集范围内优于现有方法。
video processingkernel-based interpolationoptical flowdeformable separable convolutionin-between frames
发现论文，激发创造
  • 自适应可分离卷积实现视频帧插值

    本文提出了一种使用一对一维卷积核将视频帧插值建模为本地可分离卷积的方法，使用深度卷积神经网络对图像特征进行训练，从而实现了高质量的视频帧插值，无需人工标注。

    Aug, 2017

  • 通用可变形卷积的视频帧插值

    本论文提出了一种基于广义可变形卷积的新的视频帧插值方法，该方法可以学习运动信息并自由选择时空采样点，经过广泛的实验证明，该方法在处理复杂运动时表现出类似于最先进技术的性能。

    Aug, 2020

  • 基于可变形卷积核区域的视频帧插帧

    本文通过重新审视可变形卷积技术，旨在解决图像中卷积核区域位置的网格限制问题，以期更好适应物体形状不规则性和运动不确定性，从而提供更准确的插值画面。实验结果表明，相比于现有的其他技术，在四种数据集上所提出的模型表现更为卓越。

    Apr, 2022

  • SDCNet: 空间平移卷积进行视频预测

    该研究提出了一种高分辨率视频帧预测的方法，通过过去帧和光流的联合调节来预测下一帧。通过学习运动矢量和核为每个像素综合一个像素，并且通过空间位移卷积模块来提高训练效果。该方法在游戏帧和视频中实现了最先进的结果，能够有效地处理大动作并综合具有一致运动的清晰帧。

    Nov, 2018

  • 自适应卷积实现视频帧插值

    通过使用一个深度卷积神经网络，将视频帧的插值过程作为一个单一卷积过程来处理，可以更好地解决运动估计质量的问题，并且能够优雅地处理一些挑战如遮挡，模糊和亮度变化，从而实现高质量的视频帧插值。

    Mar, 2017

  • 重新审视用于视频帧插值的自适应卷积

    本文通过对动态插帧的一种简单方法 —— 自适应可分离卷积进行微调来实现近乎先进方法的结果，并提出了几种直观但有效的技术来改进插帧质量，这些技术也可以应用于自适应卷积的其他相关应用领域，如连拍图像去噪、联合图像滤波或视频预测。

    Nov, 2020

  • 基于增强相关匹配的视频帧插值

    该研究提出了一种基于 DNN 的新框架，名为 ECM-VFI，用于高分辨率视频帧插值，包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示，该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优，并且具有最少的模型参数。

    Nov, 2021

  • 使用时空卷积进行视频帧插值的非线性运动估计

    本文提出了一种适应性选择运动模型的时空卷积网络来逼近像素间的运动。通过实验结果证实算法在四个数据集上的表现均优于现有算法，尤其是在处理非线性运动和运动不连续的情况下具有显著优势。

    Jan, 2022

  • AdaCoF：用于视频帧插值的自适应流协作

    提出了一种新的适应性流协作分组方法（Adaptive Collaboration of Flows，AdaCoF），可以综合处理复杂运动的广泛领域，加入双帧对抗性损失，用于视频帧内插计算，实验结果表明优于现有的最佳方法。

    Jul, 2019

  • 深度感知视频帧插值

    该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法，其中利用深度感知流投影层来合成中间流动图像，并且通过分类学习来收集周边像素的上下文信息，实现了输入帧、深度图和像素之间的变换以实现帧合成。

    Apr, 2019