Dec, 2023

来自 SAM 的区域可区分先验的视频帧插值

PDF
TL;DR该研究介绍了一种利用开放世界分割模型来提高视频帧插值中运动估计准确性的新方法，通过将区域可区别先验表示为空间变化的高斯混合，设计了可以与现有运动估计方法集成的分层区域感知特征融合模块，实验证明该方法能够在各种场景下显著提升视频帧插值性能。
video frame interpolationmotion estimationopen-world segmentation modelsregion-distinguishable priorshierarchical region-aware feature fusion module
发现论文，激发创造
  • 适应动作的潜在扩散模型用于视频帧插值

    通过结合运动估计和目标插帧帧之间的运动先验，提出了一种新的扩散框架（MADiff），该方法在生成视觉平滑和逼真结果方面显著优于现有方法。

    Apr, 2024

  • 运动感知视频帧插帧

    该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络，通过引入新颖的分层金字塔模块，直接估计相邻帧之间的中间光流，从而解决了现有方法在复杂场景（包括遮挡和不连续运动）中易产生图像模糊和伪影的问题，并有效降低了计算成本和复杂性。实验证明，该方法在多个数据集上超越了几种代表性的视频帧插值方法，既提高了效率又保持了良好的准确性。

    Feb, 2024

  • 视频帧插值中的稀疏全局匹配与大动态

    通过引入一个新的管道，本文提出了一种有效地整合全局级信息以缓解大运动问题的视频帧插值方法，在处理大运动场景时展现了最先进的性能。

    Apr, 2024

  • 视频帧插帧中的不连续性探索

    本文提出了三种技术来加强现有深度学习视频插帧 (VFI) 架构对不连续运动的鲁棒性。第一种是一种称为 figure-text mixing (FTM) 的新颖数据增强策略，无需额外数据集便可在训练时使模型学习不连续运动。第二种是一种简单而有效的模块，用于预测称为 discontinuity map (D-map) 的地图，密集地区分持续和不连续运动区域。最后，我们提出了损失函数，以对不连续运动区域进行监督。应用于各种先进的 VFI 网络，我们的方法显著提高了插帧质量，不仅适用于 GDM 数据集，还包括只包含连续运动的现有基准数据集，例如 Vimeo90K、UCF101 和 DAVIS。

    Feb, 2022

  • 基于感知的视频帧插值方法：非对称混合

    针对视频帧插值中的模糊和幻影效果等问题，我们提出了一种名为 PerVFI（以感知为导向的视频帧插值）的新方法，采用了 Asymmetric Synergistic Blending 模块，通过从两侧提取特征进行协同融合，使用稀疏拟二进制掩膜有效减轻幻影和模糊伪影，并采用基于归一化流的生成模型和负对数似然损失来学习输出的条件分布，进一步提高生成的图像细节的清晰度。实验证明，PerVFI 相较于现有方法在感知质量上有显著改进。

    Apr, 2024

  • 通过特征传播实现长期视频帧插值

    本研究提出了一种基于传播网络（PNet）的新框架，旨在有效解决视频帧插值（VFI）中存在的大间隔问题，将一侧的输入传播到可靠时间帧，然后使用标准方法进行插值。此方法在多项基准测试数据集上的实验结果表明，在长期 VFI 方面，其比现有的最先进方法更加有效。

    Mar, 2022

  • 通过动态自适应提升视频帧插值能力

    本文提出了一种基于优化的视频帧插值方法，该方法利用循环一致性自适应策略，结合现有预训练的插值模型中的运动估计模块，以适应测试时的未见过的运动，实现提升性能。经过各种基准测试的详尽实验表明，该方法可以提升两帧插值模型的性能，优于现有最先进的方法，即使它们使用额外的输入。

    Jun, 2023

  • 基于不确定性引导的空间修剪架构用于高效帧插值

    本文提出了一种基于不确定性引导的空间剪枝（UGSP）架构，通过利用不确定性生成的遮罩标签来正确定位易区域，同时采用自对比训练策略提高 UGSP 性能。实验证明，与未剪枝基准相比，UGSP 在 Vimeo90K/UCF101/MiddleBury 数据集上分别减少了 34%/52%/30% 的 FLOPs，且在多个基准上以更低的 FLOPs 实现了最先进的性能。

    Jul, 2023

  • 小波域动态帧插值

    提出了一种名为 WaveletVFI 的新型两阶段帧插值框架，通过轻量级运动感知网络估计中间光流，然后使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数，以实现高效的目标帧重构，通过嵌入分类器学习动态阈值来控制计算，从而实现高达 40% 的计算减少，保持了相似的准确性。

    Sep, 2023

  • 集成难度预估的动态视频帧插值

    本文介绍了一个整合了难度评估和视频帧插值的管道，该管道首先利用先前评估模型对输入帧的插值难度级别进行量化，然后动态选择适当的插值模型生成插值结果，极大地提高了视频帧插值的准确度和效率。

    Apr, 2023