本文提出了一种基于上下文感知的合成方法,利用预先训练好的神经网络提取上下文信息,使用最先进的光流算法估计双向流,并使用上下文信息插值出高质量中间帧。
Mar, 2018
通过融合光流和深度学习的方法,我们提出了一种无需人工监督的视频帧合成技术,通过流动像素值来预测新帧,实验表明该方法在定量和定性上都优于现有技术。
Feb, 2017
通过使用一个深度卷积神经网络,将视频帧的插值过程作为一个单一卷积过程来处理,可以更好地解决运动估计质量的问题,并且能够优雅地处理一些挑战如遮挡,模糊和亮度变化,从而实现高质量的视频帧插值。
Mar, 2017
本文提出了一种使用一对一维卷积核将视频帧插值建模为本地可分离卷积的方法,使用深度卷积神经网络对图像特征进行训练,从而实现了高质量的视频帧插值,无需人工标注。
Aug, 2017
该研究提出了一种基于 DNN 的新框架,名为 ECM-VFI,用于高分辨率视频帧插值,包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示,该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优,并且具有最少的模型参数。
Nov, 2021
本论文提出了一种基于广义可变形卷积的新的视频帧插值方法,该方法可以学习运动信息并自由选择时空采样点,经过广泛的实验证明,该方法在处理复杂运动时表现出类似于最先进技术的性能。
Aug, 2020
本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模,同时考虑运动解释和遮挡关系的方法,其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流,并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验,结果表明其表现优于现有方法。
Nov, 2017
本文通过重新审视可变形卷积技术,旨在解决图像中卷积核区域位置的网格限制问题,以期更好适应物体形状不规则性和运动不确定性,从而提供更准确的插值画面。实验结果表明,相比于现有的其他技术,在四种数据集上所提出的模型表现更为卓越。
Apr, 2022
我们提出了一种视频帧插值流 Transformer 的方法,通过将运动动态从光流中引入自注意机制,使得我们的框架适用于插值具有大运动的帧,同时保持相对较低的复杂性,并通过构建多尺度架构来提高整体性能,实验证明该方法能够生成比现有方法更好视觉质量的插值帧。
Jul, 2023
该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络,通过引入新颖的分层金字塔模块,直接估计相邻帧之间的中间光流,从而解决了现有方法在复杂场景(包括遮挡和不连续运动)中易产生图像模糊和伪影的问题,并有效降低了计算成本和复杂性。实验证明,该方法在多个数据集上超越了几种代表性的视频帧插值方法,既提高了效率又保持了良好的准确性。
Feb, 2024