CVPRApr, 2022

高效视频帧插帧的多对多点渲染技术

PDF
TL;DR本文提出了一种完全可微的 Many-to-Many（M2M）喷涂框架来高效地进行视频帧插值，该框架对于克服 motion based 视频帧插值的诸如遮挡和不连续性等挑战具有良好的稳健性和高效性，其每个源像素可以呈现多个目标像素，每个目标像素可以从更大的视觉上下文区域综合生成。
motion-based video interpolationoptical flowmany-to-many splatting frameworkrobustnessefficiency
发现论文，激发创造
  • 多对多光滑投影和空间选择性细化的视频帧插值

    我们提出了一个全可微的 Many-to-Many（M2M）splatting 框架，通过估计多个双向流来直接向前扭曲像素到所需的时间步骤，实现了多对多的覆盖像素的效果，然后引入了一个灵活的空间选择性优化（SSR）模块来提高插值精度，从而提高了视频插值的效率和质量。

    Oct, 2023

  • 视频帧插值的 Softmax Splatting 技术

    该论文提出了一种称为 softmax splatting 的方法，用于在前向映射过程中实现像素到目标位置的可微分映射，以及其在视频帧插值中的应用。

    Mar, 2020

  • SplatFlow: 通过分割学习多帧光流

    本文中，我们提出了一种称为 SplatFlow 的 multi-frame optical flow 估计（mOFE）框架，可以通过引入可微变换方法来处理遮挡问题，并在 KITTI2015 和 Sintel 基准评估中得到显著的改进。

    Jun, 2023

  • 一次性完成：具有高级运动建模的时间自适应多帧插值

    本研究提出一种真正的多帧插值器，它利用时间域的金字塔式网络一次性完成多帧插值任务，并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度，结果表明在 Adobe240 数据集上，所提出的方法生成视觉上令人满意的、时间上一致的帧，比当前最佳的即席方法在 PSNR 上提高 1.57db，模型体积减小 8 倍，速度快了 7.7 倍，并且可以轻松扩展以插入大量新的帧.

    Jul, 2020

  • Super SloMo: 多个中间帧的高质量视频插帧估计

    本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模，同时考虑运动解释和遮挡关系的方法，其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流，并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验，结果表明其表现优于现有方法。

    Nov, 2017

  • 自适应可分离卷积实现视频帧插值

    本文提出了一种使用一对一维卷积核将视频帧插值建模为本地可分离卷积的方法，使用深度卷积神经网络对图像特征进行训练，从而实现了高质量的视频帧插值，无需人工标注。

    Aug, 2017

  • 使用时空卷积进行视频帧插值的非线性运动估计

    本文提出了一种适应性选择运动模型的时空卷积网络来逼近像素间的运动。通过实验结果证实算法在四个数据集上的表现均优于现有算法，尤其是在处理非线性运动和运动不连续的情况下具有显著优势。

    Jan, 2022

  • FILM: 大运动帧内插值

    本文提出了一种针对大幅度中间动作的帧内插法算法，采用多尺度特征提取器的单一统一网络来进行训练，通过优化 Gram 矩阵损失实现了高质量的视频帧合成，竞争性地超越其他基于感知损失的方法，在多个基准测试中获得了更高的分数，并通过实验证明了该模型在难度较大的近似照片数据集上的有效性。

    Feb, 2022

  • 自适应卷积实现视频帧插值

    通过使用一个深度卷积神经网络，将视频帧的插值过程作为一个单一卷积过程来处理，可以更好地解决运动估计质量的问题，并且能够优雅地处理一些挑战如遮挡，模糊和亮度变化，从而实现高质量的视频帧插值。

    Mar, 2017

  • 基于块运动矢量插值的视频快速语义分割

    提出一种新的基于压缩视频中存在的块运动矢量的特征传播方法，从静态关键帧双向熔合特征到中间视频帧，以达到实时分割并保持较高的准确性。

    Oct, 2018