ICCVMar, 2021

XVFI: 极致视频帧插值

PDF
TL;DR本文首先呈现了一个数据集（X4K1000FPS），其中包含 1000 fps 的 4K 视频，在其中提出了一种极端的 VFI 网络，名为 XVFI-Net，可用于处理具有大运动的 4K 视频，并且基于递归多尺度共享结构，由两个级联模块组成，用于学习两个输入帧之间的双向光流，以及从目标到输入帧的双向光流学习。实验结果表明，我们的 XVFI-Net 在处理具有极端运动和复杂纹理的对象时可以成功捕获其关键信息，并展现出了极高的 VFI 性能。
4k videosvideo frame interpolationxvfi-netbidirectional optical flowextreme motion
发现论文，激发创造
  • 通过动态自适应提升视频帧插值能力

    本文提出了一种基于优化的视频帧插值方法，该方法利用循环一致性自适应策略，结合现有预训练的插值模型中的运动估计模块，以适应测试时的未见过的运动，实现提升性能。经过各种基准测试的详尽实验表明，该方法可以提升两帧插值模型的性能，优于现有最先进的方法，即使它们使用额外的输入。

    Jun, 2023

  • 运动感知视频帧插帧

    该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络，通过引入新颖的分层金字塔模块，直接估计相邻帧之间的中间光流，从而解决了现有方法在复杂场景（包括遮挡和不连续运动）中易产生图像模糊和伪影的问题，并有效降低了计算成本和复杂性。实验证明，该方法在多个数据集上超越了几种代表性的视频帧插值方法，既提高了效率又保持了良好的准确性。

    Feb, 2024

  • 使用 Transformer 的视频帧插值

    使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法，在多个基准测试上达到了新的最先进结果。

    May, 2022

  • LADDER：一种视频帧插值的高效框架

    本研究介绍了一种有效的视频帧插值框架，通过采用深度卷积和创新的高清增强策略，实现了对视频帧处理效能和质量的平衡。

    Apr, 2024

  • ST-MFNet：基于时空多流网络的帧插值

    通过深度学习中的 Spatio-Temporal Multi-Flow 结构实现视频帧插值，采用 3D CNN 模型处理不同的视觉场景，最终应用 ST-GAN 框架进行效果提升，该方法在 14 个最新最优模型中赢得最优结果，PSNR 达到 1.09dB。

    Nov, 2021

  • 通过特征传播实现长期视频帧插值

    本研究提出了一种基于传播网络（PNet）的新框架，旨在有效解决视频帧插值（VFI）中存在的大间隔问题，将一侧的输入传播到可靠时间帧，然后使用标准方法进行插值。此方法在多项基准测试数据集上的实验结果表明，在长期 VFI 方面，其比现有的最先进方法更加有效。

    Mar, 2022

  • 无光流视频帧插值的多进 - 单出网络

    提出了一种基于多输入单输出（MISO）的视频帧插值（VFI）方法，不依赖于运动矢量估计，能够有效地建模遮挡和非线性运动，并引入了一种新的运动感知损失，提高了视频帧的时空相关性。在 Vimeo90K、Middlebury 和 UCF101 等 VFI 基准测试中，MISO-VFI 方法与现有方法相比具有显著的性能差距，取得了最先进的结果。

    Nov, 2023

  • 视频帧插帧实时中间流估计

    RIFE 是一种基于神经网络 IFNet 的实时中间流估计算法，可在视频处理、媒体播放器和显示设备中实现高质量流媒体帧内插值，并且不需要预训练的光流模型。该算法在多个公共基准测试中取得了最先进的性能，与现有的 SuperSlomo 和 DAIN 方法相比，RIFE 速度更快，结果更好。

    Nov, 2020

  • 小波域动态帧插值

    提出了一种名为 WaveletVFI 的新型两阶段帧插值框架，通过轻量级运动感知网络估计中间光流，然后使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数，以实现高效的目标帧重构，通过嵌入分类器学习动态阈值来控制计算，从而实现高达 40% 的计算减少，保持了相似的准确性。

    Sep, 2023

  • 视频帧插值的分离式运动建模

    通过引入分解运动建模 (MoMo) 的扩散式方法进行视频帧插值，聚焦于中间运动建模，以增强视觉质量。我们提出了分解的两阶段训练过程，首先训练一个帧合成模型生成输入对及其光流的帧，然后采用我们的扩散 U-Net 架构的运动扩散模型在帧之间生成双向光流。与像素空间的生成建模方法相比，通过利用更简单的低频运动表示，我们的方法在感知性能度量上取得了优越的效果和较低的计算要求。在各个基准测试中，我们的方法超越了最先进的方法，展示了其在视频帧插值中的效力和高效性。

    Jun, 2024