Nov, 2023

更清晰的帧画面，随时可行：解决视频帧插值中的速度歧义

PDF
TL;DR现有的视频帧插值方法通过时间索引盲目预测每个对象在特定时刻的位置，但很难预测对象的精确运动；为了解决这个问题，本文提出了一种名为 “距离索引” 的新方法，通过提供对象在起始和结束帧之间行进的距离作为网络的明确提示，将复杂的时间到位置映射问题与帧预测分离开来，同时还使用了基于参考的估计策略和迭代步骤的方法来解决长程运动中的模糊问题；而且，距离索引可以以像素为单位指定，可以独立对每个对象进行时间操作，为视频编辑任务如变速提供了一种新工具。
video frame interpolationtime indexingdistance indexinglong-range motiontemporal manipulation
发现论文，激发创造
  • 运动感知视频帧插帧

    该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络，通过引入新颖的分层金字塔模块，直接估计相邻帧之间的中间光流，从而解决了现有方法在复杂场景（包括遮挡和不连续运动）中易产生图像模糊和伪影的问题，并有效降低了计算成本和复杂性。实验证明，该方法在多个数据集上超越了几种代表性的视频帧插值方法，既提高了效率又保持了良好的准确性。

    Feb, 2024

  • 通过动态自适应提升视频帧插值能力

    本文提出了一种基于优化的视频帧插值方法，该方法利用循环一致性自适应策略，结合现有预训练的插值模型中的运动估计模块，以适应测试时的未见过的运动，实现提升性能。经过各种基准测试的详尽实验表明，该方法可以提升两帧插值模型的性能，优于现有最先进的方法，即使它们使用额外的输入。

    Jun, 2023

  • 通过特征传播实现长期视频帧插值

    本研究提出了一种基于传播网络（PNet）的新框架，旨在有效解决视频帧插值（VFI）中存在的大间隔问题，将一侧的输入传播到可靠时间帧，然后使用标准方法进行插值。此方法在多项基准测试数据集上的实验结果表明，在长期 VFI 方面，其比现有的最先进方法更加有效。

    Mar, 2022

  • 深度感知视频帧插值

    该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法，其中利用深度感知流投影层来合成中间流动图像，并且通过分类学习来收集周边像素的上下文信息，实现了输入帧、深度图和像素之间的变换以实现帧合成。

    Apr, 2019

  • 模糊视频帧插值的三阶级联框架

    这篇论文提出了一个简单的端到端三阶段框架，以从模糊视频中充分提取有用信息，解决了模糊视频帧插值的挑战性问题，并在多个实验结果中展示了其有效性。

    Oct, 2023

  • 无时间先验条件的视频帧插值

    本文是一篇关于计算机视觉中视频插帧的研究，提出了一种基于不确定帧率和曝光时间的一般情况下视频插帧问题的解决方案。使用四个连续的清晰帧或两个连续的模糊帧，通过得出一般曲线运动轨迹公式的方法解决了现有视频帧插值方法只适用于特定时间先验的问题，并通过相邻运动轨迹中的约束定义了一种新的光流细化策略以提高插值结果。实验表明，一个训练良好的模型足以在复杂的实际情况下合成高质量的慢动作录像。

    Dec, 2021

  • 集成难度预估的动态视频帧插值

    本文介绍了一个整合了难度评估和视频帧插值的管道，该管道首先利用先前评估模型对输入帧的插值难度级别进行量化，然后动态选择适当的插值模型生成插值结果，极大地提高了视频帧插值的准确度和效率。

    Apr, 2023

  • 运动模糊视频插值和外推

    本研究提出了一种新的框架，该框架可以通过光流估计学习引起模糊的像素级运动，然后将已解码的特征变形以估算的光流预测多个清晰的帧，从而以一种端到端的方式从运动模糊视频中去模糊、插值和外推锐化帧。

    Mar, 2021

  • 使用 Transformer 的视频帧插值

    使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法，在多个基准测试上达到了新的最先进结果。

    May, 2022

  • 通过视频帧插值优化视频预测

    通过基于已经训练好的可微分视频帧插值模块的优化框架进行视频预测，不需要训练数据集也不需要附加信息，并且在诸多数据集上取得了良好的预测结果。

    Jun, 2022