MMJul, 2023

使用流变换器进行视频帧插值

PDF
TL;DR我们提出了一种视频帧插值流 Transformer 的方法，通过将运动动态从光流中引入自注意机制，使得我们的框架适用于插值具有大运动的帧，同时保持相对较低的复杂性，并通过构建多尺度架构来提高整体性能，实验证明该方法能够生成比现有方法更好视觉质量的插值帧。
video frame interpolationtransformerself-attention mechanismmotion dynamicsvisual quality
发现论文，激发创造
  • 视频帧插值变换器

    本论文提出了一种基于 Transformer 模型的视频插帧方法，利用自注意力机制实现了内容关注的多尺度帧间聚合，并引入本地注意力机制以及时间与空间的分离策略以优化性能。实验证明该方法在多个基准数据集上得到了优于现有方法的表现。

    Nov, 2021

  • 使用 Transformer 的视频帧插值

    使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法，在多个基准测试上达到了新的最先进结果。

    May, 2022

  • 基于卷积和 Transformer 的视频帧插帧网络

    本文提出一种创新的方法，将 Transformer 编码器和卷积特征相结合，从而减少了近 50% 的内存负担，在推理时间上比现有的基于 Transformer 的插值方法运行速度提高了近四倍，并引入双编码器架构来结合局部相关的卷积和远程相关的 Transformer。在复杂运动方面进行了定量评估，展示了所提出方法的鲁棒性，与最先进的插值网络相比，取得了竞争性能。

    Jul, 2023

  • 基于 Flow-Guided 技术的视频修复 Transformer

    提出了一种基于光学流的流程引导变压器，用于高保真视频修复，通过设计新颖的流完整网络来完成损坏的光流，并使用流引导变压器来合成其余的损坏区域，通过时间和空间维度解耦变压器，以便仅集成局部相关的完成的流来控制流对每个空间变压器的影响。

    Aug, 2022

  • 深度感知视频帧插值

    该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法，其中利用深度感知流投影层来合成中间流动图像，并且通过分类学习来收集周边像素的上下文信息，实现了输入帧、深度图和像素之间的变换以实现帧合成。

    Apr, 2019

  • TransFlow: Transformer 作为流学习器

    TransFlow 是一个基于 Transformer 结构的纯光流估计方法，通过利用空间自注意力机制和跨帧交叉注意力机制，实现更准确的相关性和可信匹配、通过长时序关联恢复更多的损失信息，并通过简单的自学习范式，消除复杂的多阶段预训练程序，在多个任务上实现了最先进的结果。

    Apr, 2023

  • ConvTransformer: 用于视频帧合成的卷积变换器网络

    本文提出了一种名为 ConvTransformer 的深层卷积神经网络结构，通过注意力机制学习序列数据之间的依赖关系，用于视频帧合成，相较于传统的卷积 LSTM 方法可实现更好的并行计算效果。

    Nov, 2020

  • 基于变压器的视频修补中利用光流指导

    提出 Flow-guided transformer plus (FGT++) 模型，通过轻量级的流完成网络、流引导功能模块及时空维度分离 MHSA 机制等方式，提高视频修复的效率与效果。

    Jan, 2023

  • 自适应卷积实现视频帧插值

    通过使用一个深度卷积神经网络，将视频帧的插值过程作为一个单一卷积过程来处理，可以更好地解决运动估计质量的问题，并且能够优雅地处理一些挑战如遮挡，模糊和亮度变化，从而实现高质量的视频帧插值。

    Mar, 2017

  • Super SloMo: 多个中间帧的高质量视频插帧估计

    本研究提出了一种使用卷积神经网络对变长多帧视频插值进行建模，同时考虑运动解释和遮挡关系的方法，其中使用了 U-Net 架构计算输入时间序列帧之间的双向光流，并将其用于线性插值生成中间帧。我们的方法在多个数据集上进行实验，结果表明其表现优于现有方法。

    Nov, 2017