RIFE 是一种基于神经网络 IFNet 的实时中间流估计算法,可在视频处理、媒体播放器和显示设备中实现高质量流媒体帧内插值,并且不需要预训练的光流模型。该算法在多个公共基准测试中取得了最先进的性能,与现有的 SuperSlomo 和 DAIN 方法相比,RIFE 速度更快,结果更好。
Nov, 2020
本研究介绍了一种有效的视频帧插值框架,通过采用深度卷积和创新的高清增强策略,实现了对视频帧处理效能和质量的平衡。
Apr, 2024
本文提出了一种基于编码器 - 解码器网络的视频帧插值方法 IFRNet,该方法通过提取输入数据的金字塔特征和应用中间流场实现帧合成,同时引入了任务导向的光流蒸馏损失和几何一致性正则项进行优化,实验表明该方法具有出色的性能和快速的推理速度。
May, 2022
本文提出了一种基于优化的视频帧插值方法,该方法利用循环一致性自适应策略,结合现有预训练的插值模型中的运动估计模块,以适应测试时的未见过的运动,实现提升性能。经过各种基准测试的详尽实验表明,该方法可以提升两帧插值模型的性能,优于现有最先进的方法,即使它们使用额外的输入。
Jun, 2023
本文首先呈现了一个数据集(X4K1000FPS),其中包含 1000 fps 的 4K 视频,在其中提出了一种极端的 VFI 网络,名为 XVFI-Net,可用于处理具有大运动的 4K 视频,并且基于递归多尺度共享结构,由两个级联模块组成,用于学习两个输入帧之间的双向光流,以及从目标到输入帧的双向光流学习。实验结果表明,我们的 XVFI-Net 在处理具有极端运动和复杂纹理的对象时可以成功捕获其关键信息,并展现出了极高的 VFI 性能。
Mar, 2021
本文介绍了一个整合了难度评估和视频帧插值的管道,该管道首先利用先前评估模型对输入帧的插值难度级别进行量化,然后动态选择适当的插值模型生成插值结果,极大地提高了视频帧插值的准确度和效率。
Apr, 2023
该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络,通过引入新颖的分层金字塔模块,直接估计相邻帧之间的中间光流,从而解决了现有方法在复杂场景(包括遮挡和不连续运动)中易产生图像模糊和伪影的问题,并有效降低了计算成本和复杂性。实验证明,该方法在多个数据集上超越了几种代表性的视频帧插值方法,既提高了效率又保持了良好的准确性。
Feb, 2024
提出了一种名为 WaveletVFI 的新型两阶段帧插值框架,通过轻量级运动感知网络估计中间光流,然后使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数,以实现高效的目标帧重构,通过嵌入分类器学习动态阈值来控制计算,从而实现高达 40% 的计算减少,保持了相似的准确性。
Sep, 2023
本研究提出一种真正的多帧插值器,它利用时间域的金字塔式网络一次性完成多帧插值任务,并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度,结果表明在 Adobe240 数据集上,所提出的方法生成视觉上令人满意的、时间上一致的帧,比当前最佳的即席方法在 PSNR 上提高 1.57db,模型体积减小 8 倍,速度快了 7.7 倍,并且可以轻松扩展以插入大量新的帧.
Jul, 2020
本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模,同时考虑运动解释和遮挡关系的方法,其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流,并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验,结果表明其表现优于现有方法。
Nov, 2017