本文提出了一种基于优化的视频帧插值方法,该方法利用循环一致性自适应策略,结合现有预训练的插值模型中的运动估计模块,以适应测试时的未见过的运动,实现提升性能。经过各种基准测试的详尽实验表明,该方法可以提升两帧插值模型的性能,优于现有最先进的方法,即使它们使用额外的输入。
Jun, 2023
该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络,通过引入新颖的分层金字塔模块,直接估计相邻帧之间的中间光流,从而解决了现有方法在复杂场景(包括遮挡和不连续运动)中易产生图像模糊和伪影的问题,并有效降低了计算成本和复杂性。实验证明,该方法在多个数据集上超越了几种代表性的视频帧插值方法,既提高了效率又保持了良好的准确性。
Feb, 2024
使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法,在多个基准测试上达到了新的最先进结果。
May, 2022
提出了一种名为 WaveletVFI 的新型两阶段帧插值框架,通过轻量级运动感知网络估计中间光流,然后使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数,以实现高效的目标帧重构,通过嵌入分类器学习动态阈值来控制计算,从而实现高达 40% 的计算减少,保持了相似的准确性。
Sep, 2023
本文首先呈现了一个数据集(X4K1000FPS),其中包含 1000 fps 的 4K 视频,在其中提出了一种极端的 VFI 网络,名为 XVFI-Net,可用于处理具有大运动的 4K 视频,并且基于递归多尺度共享结构,由两个级联模块组成,用于学习两个输入帧之间的双向光流,以及从目标到输入帧的双向光流学习。实验结果表明,我们的 XVFI-Net 在处理具有极端运动和复杂纹理的对象时可以成功捕获其关键信息,并展现出了极高的 VFI 性能。
Mar, 2021
本研究提出了一种基于传播网络(PNet)的新框架,旨在有效解决视频帧插值(VFI)中存在的大间隔问题,将一侧的输入传播到可靠时间帧,然后使用标准方法进行插值。此方法在多项基准测试数据集上的实验结果表明,在长期 VFI 方面,其比现有的最先进方法更加有效。
Mar, 2022
这篇论文提出了一个简单的端到端三阶段框架,以从模糊视频中充分提取有用信息,解决了模糊视频帧插值的挑战性问题,并在多个实验结果中展示了其有效性。
Oct, 2023
通过引入分解运动建模 (MoMo) 的扩散式方法进行视频帧插值,聚焦于中间运动建模,以增强视觉质量。我们提出了分解的两阶段训练过程,首先训练一个帧合成模型生成输入对及其光流的帧,然后采用我们的扩散 U-Net 架构的运动扩散模型在帧之间生成双向光流。与像素空间的生成建模方法相比,通过利用更简单的低频运动表示,我们的方法在感知性能度量上取得了优越的效果和较低的计算要求。在各个基准测试中,我们的方法超越了最先进的方法,展示了其在视频帧插值中的效力和高效性。
Jun, 2024
本文介绍了一个整合了难度评估和视频帧插值的管道,该管道首先利用先前评估模型对输入帧的插值难度级别进行量化,然后动态选择适当的插值模型生成插值结果,极大地提高了视频帧插值的准确度和效率。
Apr, 2023
通过结合运动估计和目标插帧帧之间的运动先验,提出了一种新的扩散框架(MADiff),该方法在生成视觉平滑和逼真结果方面显著优于现有方法。
Apr, 2024