Oct, 2023

多对多光滑投影和空间选择性细化的视频帧插值

PDF
TL;DR我们提出了一个全可微的 Many-to-Many（M2M）splatting 框架，通过估计多个双向流来直接向前扭曲像素到所需的时间步骤，实现了多对多的覆盖像素的效果，然后引入了一个灵活的空间选择性优化（SSR）模块来提高插值精度，从而提高了视频插值的效率和质量。
many-to-many splatting frameworkbidirectional flowsinterpolation accuracyspatial selective refinementvideo interpolation quality
发现论文，激发创造
  • 高效视频帧插帧的多对多点渲染技术

    本文提出了一种完全可微的 Many-to-Many（M2M）喷涂框架来高效地进行视频帧插值，该框架对于克服 motion based 视频帧插值的诸如遮挡和不连续性等挑战具有良好的稳健性和高效性，其每个源像素可以呈现多个目标像素，每个目标像素可以从更大的视觉上下文区域综合生成。

    Apr, 2022

  • 一次性完成：具有高级运动建模的时间自适应多帧插值

    本研究提出一种真正的多帧插值器，它利用时间域的金字塔式网络一次性完成多帧插值任务，并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度，结果表明在 Adobe240 数据集上，所提出的方法生成视觉上令人满意的、时间上一致的帧，比当前最佳的即席方法在 PSNR 上提高 1.57db，模型体积减小 8 倍，速度快了 7.7 倍，并且可以轻松扩展以插入大量新的帧.

    Jul, 2020

  • 视频帧插值的 Softmax Splatting 技术

    该论文提出了一种称为 softmax splatting 的方法，用于在前向映射过程中实现像素到目标位置的可微分映射，以及其在视频帧插值中的应用。

    Mar, 2020

  • Super SloMo: 多个中间帧的高质量视频插帧估计

    本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模，同时考虑运动解释和遮挡关系的方法，其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流，并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验，结果表明其表现优于现有方法。

    Nov, 2017

  • 自适应可分离卷积实现视频帧插值

    本文提出了一种使用一对一维卷积核将视频帧插值建模为本地可分离卷积的方法，使用深度卷积神经网络对图像特征进行训练，从而实现了高质量的视频帧插值，无需人工标注。

    Aug, 2017

  • 自适应卷积实现视频帧插值

    通过使用一个深度卷积神经网络，将视频帧的插值过程作为一个单一卷积过程来处理，可以更好地解决运动估计质量的问题，并且能够优雅地处理一些挑战如遮挡，模糊和亮度变化，从而实现高质量的视频帧插值。

    Mar, 2017

  • FILM: 大运动帧内插值

    本文提出了一种针对大幅度中间动作的帧内插法算法，采用多尺度特征提取器的单一统一网络来进行训练，通过优化 Gram 矩阵损失实现了高质量的视频帧合成，竞争性地超越其他基于感知损失的方法，在多个基准测试中获得了更高的分数，并通过实验证明了该模型在难度较大的近似照片数据集上的有效性。

    Feb, 2022

  • 利用基于块运动的特征插值进行视频快速语义分割

    本文提出了一种新的加速视频推理的方法 —— 使用基于块运动向量和特征传播技术实现的快速特征传播技术以及基于周围帧传播得到的特征的特征插值技术，能够在保持精度的前提下，将图像分割的速度从单帧基线的 30ms 提高到每秒 20 帧，实现了几乎 6 倍的改进。

    Mar, 2018

  • 提高 2D 动画插值的视觉质量

    本研究旨在解决 2D 动画插值系统中的感知品质问题，提出了可有效降低可调参数以及改善口感表现的 SoftsplatLite 插值体系、利用线接近度解决难以处理的单色区域畸变的距离变换模块，以及用 Restricted Relative Linear Discrepancy metric 代替传统数据收集方法。通过用户研究得出，相较于先前在插值系统中应用 PSNR 和 SSIM，应使用 LPIPS 感知指标和 chamfer 线距离指标进行 2D 动画质量评估。

    Nov, 2021

  • ST-MFNet：基于时空多流网络的帧插值

    通过深度学习中的 Spatio-Temporal Multi-Flow 结构实现视频帧插值，采用 3D CNN 模型处理不同的视觉场景，最终应用 ST-GAN 框架进行效果提升，该方法在 14 个最新最优模型中赢得最优结果，PSNR 达到 1.09dB。

    Nov, 2021