Dec, 2021

无时间先验条件的视频帧插值

PDF
TL;DR本文是一篇关于计算机视觉中视频插帧的研究，提出了一种基于不确定帧率和曝光时间的一般情况下视频插帧问题的解决方案。使用四个连续的清晰帧或两个连续的模糊帧，通过得出一般曲线运动轨迹公式的方法解决了现有视频帧插值方法只适用于特定时间先验的问题，并通过相邻运动轨迹中的约束定义了一种新的光流细化策略以提高插值结果。实验表明，一个训练良好的模型足以在复杂的实际情况下合成高质量的慢动作录像。
发现论文，激发创造
  • 通过视频帧插值优化视频预测

    通过基于已经训练好的可微分视频帧插值模块的优化框架进行视频预测，不需要训练数据集也不需要附加信息，并且在诸多数据集上取得了良好的预测结果。

    Jun, 2022

  • 一次性完成：具有高级运动建模的时间自适应多帧插值

    本研究提出一种真正的多帧插值器，它利用时间域的金字塔式网络一次性完成多帧插值任务，并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度，结果表明在 Adobe240 数据集上，所提出的方法生成视觉上令人满意的、时间上一致的帧，比当前最佳的即席方法在 PSNR 上提高 1.57db，模型体积减小 8 倍，速度快了 7.7 倍，并且可以轻松扩展以插入大量新的帧.

    Jul, 2020

  • 运动模糊视频插值和外推

    本研究提出了一种新的框架，该框架可以通过光流估计学习引起模糊的像素级运动，然后将已解码的特征变形以估算的光流预测多个清晰的帧，从而以一种端到端的方式从运动模糊视频中去模糊、插值和外推锐化帧。

    Mar, 2021

  • 二次视频插值

    该研究提出了一种利用加速信息的二次视频插值方法，并发展了逆向流层用于流场估计和流细化技术，以更精准地实现视频插值，以优于现有的线性模型。

    Nov, 2019

  • 自适应卷积实现视频帧插值

    通过使用一个深度卷积神经网络，将视频帧的插值过程作为一个单一卷积过程来处理，可以更好地解决运动估计质量的问题，并且能够优雅地处理一些挑战如遮挡，模糊和亮度变化，从而实现高质量的视频帧插值。

    Mar, 2017

  • Super SloMo: 多个中间帧的高质量视频插帧估计

    本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模，同时考虑运动解释和遮挡关系的方法，其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流，并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验，结果表明其表现优于现有方法。

    Nov, 2017

  • 使用时空卷积进行视频帧插值的非线性运动估计

    本文提出了一种适应性选择运动模型的时空卷积网络来逼近像素间的运动。通过实验结果证实算法在四个数据集上的表现均优于现有算法，尤其是在处理非线性运动和运动不连续的情况下具有显著优势。

    Jan, 2022

  • 深度感知视频帧插值

    该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法，其中利用深度感知流投影层来合成中间流动图像，并且通过分类学习来收集周边像素的上下文信息，实现了输入帧、深度图和像素之间的变换以实现帧合成。

    Apr, 2019

  • 模糊视频帧插值

    本研究提出了一种模糊视频帧插值方法，通过金字塔模块和内部循环递推模块实现一定程度上同时减少运动模糊和提高帧率。实验证明，该方法在影像增强方面表现优异。

    Feb, 2020

  • 未知曝光时间下的联合视频多帧插值和去模糊

    本研究旨在有效地处理在未知曝光时间下所拍摄的视频，采取有监督对比学习构建曝光感知表征，使用两个 U-Net 进行运动分析，通过渐进式曝光自适应卷积和运动细化建立视频重建网络。在模拟和实际数据集上的实验表明，该优化方法在联合视频 x8 内插和去模糊任务上具有显着的性能提升，并且在看似不可能的 x16 内插任务上，该方法在 PSNR 方面比现有方法提高了 1.5 dB 以上。

    Mar, 2023