本文提出了一种基于编码器 - 解码器网络的视频帧插值方法 IFRNet,该方法通过提取输入数据的金字塔特征和应用中间流场实现帧合成,同时引入了任务导向的光流蒸馏损失和几何一致性正则项进行优化,实验表明该方法具有出色的性能和快速的推理速度。
May, 2022
该研究提出了一种基于 DNN 的新框架,名为 ECM-VFI,用于高分辨率视频帧插值,包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示,该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优,并且具有最少的模型参数。
Nov, 2021
提出无监督学习方法,通过改善金字塔网络的上采样和学习来估计光流,具有自引导上采样模块和金字塔蒸馏损失,并将两个组件相结合,该方法在多个基准测试中均取得了最佳性能。
Dec, 2020
本研究提出了一种模糊视频帧插值方法,通过金字塔模块和内部循环递推模块实现一定程度上同时减少运动模糊和提高帧率。实验证明,该方法在影像增强方面表现优异。
Feb, 2020
本文提出了一种针对大幅度中间动作的帧内插法算法,采用多尺度特征提取器的单一统一网络来进行训练,通过优化 Gram 矩阵损失实现了高质量的视频帧合成,竞争性地超越其他基于感知损失的方法,在多个基准测试中获得了更高的分数,并通过实验证明了该模型在难度较大的近似照片数据集上的有效性。
Feb, 2022
本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模,同时考虑运动解释和遮挡关系的方法,其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流,并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验,结果表明其表现优于现有方法。
Nov, 2017
本研究提出一种真正的多帧插值器,它利用时间域的金字塔式网络一次性完成多帧插值任务,并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度,结果表明在 Adobe240 数据集上,所提出的方法生成视觉上令人满意的、时间上一致的帧,比当前最佳的即席方法在 PSNR 上提高 1.57db,模型体积减小 8 倍,速度快了 7.7 倍,并且可以轻松扩展以插入大量新的帧.
Jul, 2020
本文提出了 SPyNet (空间金字塔网络) 算法,结合经典的空间金字塔和深度学习来计算光学流的大运动。相较于先前的 FlowNet 方法,SPyNet 更小、更高效,并且能够在标准基准测试中获得更高精度的结果。
Nov, 2016
通过金字塔可变卷积结构和上下文增强网络,我们提出了一种称为 Pyramid Deformable Warping Network(PDWN)的轻量而有效的模型,可用于视频帧插值。该方法使用粗到细的连续细化来生成未知中间帧相对于已知帧的 DConv 偏移,并在每个金字塔级别计算扭曲特性之间的成本卷积以帮助偏移量推断。在最细的尺度上,这两个扭曲帧被自适应地混合以生成中间帧,其准确性可与同类模型相媲美甚至更优。
Apr, 2021
本文提出了一种无监督的光流估计方法,通过引入自适应金字塔采样,提出了一个内容感知池化模块和一个自适应光流上采样模块,能够有效地避免交叉边界插值和交叉区域池化,从而实现了最佳的光流估计性能。