视频帧插值中的稀疏全局匹配与大动态
该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络,通过引入新颖的分层金字塔模块,直接估计相邻帧之间的中间光流,从而解决了现有方法在复杂场景(包括遮挡和不连续运动)中易产生图像模糊和伪影的问题,并有效降低了计算成本和复杂性。实验证明,该方法在多个数据集上超越了几种代表性的视频帧插值方法,既提高了效率又保持了良好的准确性。
Feb, 2024
该研究论文报道了一种利用稀疏点匹配进行场景流估计的方法,通过边缘信息实现保持几何和运动边界的稠密插值,并进行变分能量最小化迭代优化,最终在 KITTI 基准数据集上得到了优秀的表现,可用于汽车场景下的静态与动态部分的分割。
Oct, 2017
本文提出了一种基于优化的视频帧插值方法,该方法利用循环一致性自适应策略,结合现有预训练的插值模型中的运动估计模块,以适应测试时的未见过的运动,实现提升性能。经过各种基准测试的详尽实验表明,该方法可以提升两帧插值模型的性能,优于现有最先进的方法,即使它们使用额外的输入。
Jun, 2023
本文提出了一种针对大幅度中间动作的帧内插法算法,采用多尺度特征提取器的单一统一网络来进行训练,通过优化 Gram 矩阵损失实现了高质量的视频帧合成,竞争性地超越其他基于感知损失的方法,在多个基准测试中获得了更高的分数,并通过实验证明了该模型在难度较大的近似照片数据集上的有效性。
Feb, 2022
提出了一种名为 WaveletVFI 的新型两阶段帧插值框架,通过轻量级运动感知网络估计中间光流,然后使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数,以实现高效的目标帧重构,通过嵌入分类器学习动态阈值来控制计算,从而实现高达 40% 的计算减少,保持了相似的准确性。
Sep, 2023
本研究提出了一种基于传播网络(PNet)的新框架,旨在有效解决视频帧插值(VFI)中存在的大间隔问题,将一侧的输入传播到可靠时间帧,然后使用标准方法进行插值。此方法在多项基准测试数据集上的实验结果表明,在长期 VFI 方面,其比现有的最先进方法更加有效。
Mar, 2022
提出了一种基于多输入单输出(MISO)的视频帧插值(VFI)方法,不依赖于运动矢量估计,能够有效地建模遮挡和非线性运动,并引入了一种新的运动感知损失,提高了视频帧的时空相关性。在 Vimeo90K、Middlebury 和 UCF101 等 VFI 基准测试中,MISO-VFI 方法与现有方法相比具有显著的性能差距,取得了最先进的结果。
Nov, 2023
针对视频帧插值中的模糊和幻影效果等问题,我们提出了一种名为 PerVFI(以感知为导向的视频帧插值)的新方法,采用了 Asymmetric Synergistic Blending 模块,通过从两侧提取特征进行协同融合,使用稀疏拟二进制掩膜有效减轻幻影和模糊伪影,并采用基于归一化流的生成模型和负对数似然损失来学习输出的条件分布,进一步提高生成的图像细节的清晰度。实验证明,PerVFI 相较于现有方法在感知质量上有显著改进。
Apr, 2024
本文提出了 FlowFields ++ 算法,通过结合 Flow Fields 的准确匹配和稳健的插值方法,以及改进的变分优化作为后处理,针对稀疏匹配的准确性和插值方面的不足进行了改进,并在公开测试数据集 KITTI 和 MPI Sintel 上均取得了最佳的效果。
May, 2018