Nov, 2017

多尺度深度损失函数和生成式对抗网络的帧插值

PDF
TL;DR本文提出了一种基于多尺度生成对抗网络的视频插帧算法（FIGAN），并通过构建粗到细的多尺度残差估计模块以及联合多级感知损失函数的方法，在算法效率和插帧视频的视觉质量两方面取得了较好的结果。
发现论文，激发创造
  • FILM: 大运动帧内插值

    本文提出了一种针对大幅度中间动作的帧内插法算法，采用多尺度特征提取器的单一统一网络来进行训练，通过优化 Gram 矩阵损失实现了高质量的视频帧合成，竞争性地超越其他基于感知损失的方法，在多个基准测试中获得了更高的分数，并通过实验证明了该模型在难度较大的近似照片数据集上的有效性。

    Feb, 2022

  • 具有传递一致性损失的多尺度视频帧合成网络

    本文提出了一种基于神经网络的视频插值方法，避免了传统基于光流的方法的不足，采用了跨层参数共享和跨域一致性损失等技术，该方法在实验中表现良好。

    Dec, 2017

  • 通用可变形卷积的视频帧插值

    本论文提出了一种基于广义可变形卷积的新的视频帧插值方法，该方法可以学习运动信息并自由选择时空采样点，经过广泛的实验证明，该方法在处理复杂运动时表现出类似于最先进技术的性能。

    Aug, 2020

  • 深度感知视频帧插值

    该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法，其中利用深度感知流投影层来合成中间流动图像，并且通过分类学习来收集周边像素的上下文信息，实现了输入帧、深度图和像素之间的变换以实现帧合成。

    Apr, 2019

  • 一次性完成：具有高级运动建模的时间自适应多帧插值

    本研究提出一种真正的多帧插值器，它利用时间域的金字塔式网络一次性完成多帧插值任务，并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度，结果表明在 Adobe240 数据集上，所提出的方法生成视觉上令人满意的、时间上一致的帧，比当前最佳的即席方法在 PSNR 上提高 1.57db，模型体积减小 8 倍，速度快了 7.7 倍，并且可以轻松扩展以插入大量新的帧.

    Jul, 2020

  • Super SloMo: 多个中间帧的高质量视频插帧估计

    本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模，同时考虑运动解释和遮挡关系的方法，其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流，并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验，结果表明其表现优于现有方法。

    Nov, 2017

  • 使用 Transformer 的视频帧插值

    使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法，在多个基准测试上达到了新的最先进结果。

    May, 2022

  • 基于变换的大规模数据对抗性视频预测

    本文通过对辩别器分解的系统实证研究，提出了一种结构，使得其收敛速度和性能都优于之前的方法，并分析了生成器中的循环单元，提出了一种新的循环单元，可以根据预测的动态特征转换其过去的隐藏状态，包括处理去除、场景改变等复杂行为，最终的模型在大规模的 Kinetics-600 数据集上，获得了卓越的性能。

    Mar, 2020

  • 自适应卷积实现视频帧插值

    通过使用一个深度卷积神经网络，将视频帧的插值过程作为一个单一卷积过程来处理，可以更好地解决运动估计质量的问题，并且能够优雅地处理一些挑战如遮挡，模糊和亮度变化，从而实现高质量的视频帧插值。

    Mar, 2017

  • 元学习实现的场景自适应视频帧插值

    本文提出了一种利用测试时可用但之前未被利用的额外信息为每个视频自适应模型的方法，包括使用简单的微调和集成元学习等，以只进行单次梯度更新且不增加额外参数的方式获得显著的性能提升。 同时，我们表明此元学习框架可轻松应用于任何视频帧插值网络，并能在多个基准数据集上持续提高其性能。

    Apr, 2020