IJCAIApr, 2022

基于可变形卷积核区域的视频帧插帧

PDF
TL;DR本文通过重新审视可变形卷积技术，旨在解决图像中卷积核区域位置的网格限制问题，以期更好适应物体形状不规则性和运动不确定性，从而提供更准确的插值画面。实验结果表明，相比于现有的其他技术，在四种数据集上所提出的模型表现更为卓越。
video frame interpolationdeep learningdeformable convolutionobject shapemotion
发现论文，激发创造
  • 通用可变形卷积的视频帧插值

    本论文提出了一种基于广义可变形卷积的新的视频帧插值方法，该方法可以学习运动信息并自由选择时空采样点，经过广泛的实验证明，该方法在处理复杂运动时表现出类似于最先进技术的性能。

    Aug, 2020

  • 自适应可分离卷积实现视频帧插值

    本文提出了一种使用一对一维卷积核将视频帧插值建模为本地可分离卷积的方法，使用深度卷积神经网络对图像特征进行训练，从而实现了高质量的视频帧插值，无需人工标注。

    Aug, 2017

  • 自适应卷积实现视频帧插值

    通过使用一个深度卷积神经网络，将视频帧的插值过程作为一个单一卷积过程来处理，可以更好地解决运动估计质量的问题，并且能够优雅地处理一些挑战如遮挡，模糊和亮度变化，从而实现高质量的视频帧插值。

    Mar, 2017

  • 深度感知视频帧插值

    该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法，其中利用深度感知流投影层来合成中间流动图像，并且通过分类学习来收集周边像素的上下文信息，实现了输入帧、深度图和像素之间的变换以实现帧合成。

    Apr, 2019

  • 学习形变核对图像和视频去噪

    本文提出了一种基于深度神经网络的变形二维卷积核和三维卷积核的去噪方法，能够自适应地适应图像结构，并在处理具有大运动的动态场景时具有较好的性能。

    Apr, 2019

  • 增强变形可分离卷积实现多视频帧插值

    该论文提出了一种增强的可变形可分离卷积（EDSC）来生成视频序列的中间帧，并能够以任意时间位置生成任意帧。通过学习自适应卷积核、偏移量、掩码和偏置等多个组件，能够从非局部邻域获取信息，并且通过扩展的 coord-conv 技巧，能够控制中间时间步来生成多个中间帧。实验结果表明，该方法在广泛的数据集范围内优于现有方法。

    Jun, 2020

  • 通过语义分割和像素级非线性核进行视频去模糊

    本文针对视频模糊问题，提出了一种基于语义分割，利用不同的运动模型来指导光流估计，并考虑了像素级别的非线性模糊核模型，能够更好地描述复杂的运动模糊，并且在对抗其他先进方法的实验中表现良好。

    Aug, 2017

  • 基于增强相关匹配的视频帧插值

    该研究提出了一种基于 DNN 的新框架，名为 ECM-VFI，用于高分辨率视频帧插值，包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示，该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优，并且具有最少的模型参数。

    Nov, 2021

  • 视频帧插值的 PhaseNet

    本文介绍了一种新的视频帧插值方法 ——PhaseNet。相较于传统方法和基于深度学习方法，PhaseNet 可以更好地处理光照变化和运动模糊等挑战性场景，并且也适用于更大范围的运动，通过直接估计中间帧的相位分解，避免了使用手工设计启发式方法的缺点。

    Apr, 2018

  • 使用流变换器进行视频帧插值

    我们提出了一种视频帧插值流 Transformer 的方法，通过将运动动态从光流中引入自注意机制，使得我们的框架适用于插值具有大运动的帧，同时保持相对较低的复杂性，并通过构建多尺度架构来提高整体性能，实验证明该方法能够生成比现有方法更好视觉质量的插值帧。

    Jul, 2023