通过使用一个深度卷积神经网络,将视频帧的插值过程作为一个单一卷积过程来处理,可以更好地解决运动估计质量的问题,并且能够优雅地处理一些挑战如遮挡,模糊和亮度变化,从而实现高质量的视频帧插值。
Mar, 2017
本论文提出了一种基于广义可变形卷积的新的视频帧插值方法,该方法可以学习运动信息并自由选择时空采样点,经过广泛的实验证明,该方法在处理复杂运动时表现出类似于最先进技术的性能。
Aug, 2020
本文通过对动态插帧的一种简单方法 —— 自适应可分离卷积进行微调来实现近乎先进方法的结果,并提出了几种直观但有效的技术来改进插帧质量,这些技术也可以应用于自适应卷积的其他相关应用领域,如连拍图像去噪、联合图像滤波或视频预测。
Nov, 2020
该论文提出了一种增强的可变形可分离卷积(EDSC)来生成视频序列的中间帧,并能够以任意时间位置生成任意帧。通过学习自适应卷积核、偏移量、掩码和偏置等多个组件,能够从非局部邻域获取信息,并且通过扩展的 coord-conv 技巧,能够控制中间时间步来生成多个中间帧。实验结果表明,该方法在广泛的数据集范围内优于现有方法。
Jun, 2020
该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法,其中利用深度感知流投影层来合成中间流动图像,并且通过分类学习来收集周边像素的上下文信息,实现了输入帧、深度图和像素之间的变换以实现帧合成。
Apr, 2019
本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模,同时考虑运动解释和遮挡关系的方法,其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流,并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验,结果表明其表现优于现有方法。
Nov, 2017
本文通过重新审视可变形卷积技术,旨在解决图像中卷积核区域位置的网格限制问题,以期更好适应物体形状不规则性和运动不确定性,从而提供更准确的插值画面。实验结果表明,相比于现有的其他技术,在四种数据集上所提出的模型表现更为卓越。
Apr, 2022
本文提出了一种适应性选择运动模型的时空卷积网络来逼近像素间的运动。通过实验结果证实算法在四个数据集上的表现均优于现有算法,尤其是在处理非线性运动和运动不连续的情况下具有显著优势。
Jan, 2022
该研究提出了一种高分辨率视频帧预测的方法,通过过去帧和光流的联合调节来预测下一帧。通过学习运动矢量和核为每个像素综合一个像素,并且通过空间位移卷积模块来提高训练效果。该方法在游戏帧和视频中实现了最先进的结果,能够有效地处理大动作并综合具有一致运动的清晰帧。
Nov, 2018
本文提出了一种基于上下文感知的合成方法,利用预先训练好的神经网络提取上下文信息,使用最先进的光流算法估计双向流,并使用上下文信息插值出高质量中间帧。
Mar, 2018