Jul, 2023

基于卷积和 Transformer 的视频帧插帧网络

PDF
TL;DR本文提出一种创新的方法，将 Transformer 编码器和卷积特征相结合，从而减少了近 50% 的内存负担，在推理时间上比现有的基于 Transformer 的插值方法运行速度提高了近四倍，并引入双编码器架构来结合局部相关的卷积和远程相关的 Transformer。在复杂运动方面进行了定量评估，展示了所提出方法的鲁棒性，与最先进的插值网络相比，取得了竞争性能。
video frame interpolationtransformer encoderconvolutional featuresdual-encoder architecturebenchmark evaluation
发现论文，激发创造
  • 视频帧插值变换器

    本论文提出了一种基于 Transformer 模型的视频插帧方法，利用自注意力机制实现了内容关注的多尺度帧间聚合，并引入本地注意力机制以及时间与空间的分离策略以优化性能。实验证明该方法在多个基准数据集上得到了优于现有方法的表现。

    Nov, 2021

  • 使用 Transformer 的视频帧插值

    使用 Transformer 和跨尺度窗口关注机制的视频帧插值方法，在多个基准测试上达到了新的最先进结果。

    May, 2022

  • 使用流变换器进行视频帧插值

    我们提出了一种视频帧插值流 Transformer 的方法，通过将运动动态从光流中引入自注意机制，使得我们的框架适用于插值具有大运动的帧，同时保持相对较低的复杂性，并通过构建多尺度架构来提高整体性能，实验证明该方法能够生成比现有方法更好视觉质量的插值帧。

    Jul, 2023

  • ConvTransformer: 用于视频帧合成的卷积变换器网络

    本文提出了一种名为 ConvTransformer 的深层卷积神经网络结构，通过注意力机制学习序列数据之间的依赖关系，用于视频帧合成，相较于传统的卷积 LSTM 方法可实现更好的并行计算效果。

    Nov, 2020

  • 自适应卷积实现视频帧插值

    通过使用一个深度卷积神经网络，将视频帧的插值过程作为一个单一卷积过程来处理，可以更好地解决运动估计质量的问题，并且能够优雅地处理一些挑战如遮挡，模糊和亮度变化，从而实现高质量的视频帧插值。

    Mar, 2017

  • 一次性完成：具有高级运动建模的时间自适应多帧插值

    本研究提出一种真正的多帧插值器，它利用时间域的金字塔式网络一次性完成多帧插值任务，并使用放松的损失函数流估计过程和先进的基于三次样条的运动模型以提高插值精度，结果表明在 Adobe240 数据集上，所提出的方法生成视觉上令人满意的、时间上一致的帧，比当前最佳的即席方法在 PSNR 上提高 1.57db，模型体积减小 8 倍，速度快了 7.7 倍，并且可以轻松扩展以插入大量新的帧.

    Jul, 2020

  • 基于多编码器网络的核插值结构参数减少

    本研究提出了一种通过删除需要最多参数的层并将其替换成更小的编码器的方法来减少流场无关内核网络的参数数量的技术，以通过强制旋转来使每个编码器从输入图像中学习不同的特征，从而实现比原来的方法更好的性能。

    May, 2022

  • 面向在线实时基于内存的视频修复变换

    通过适应现有修复变换器的框架，我们提出了一种适应于实时视频的视频修复方法，以维持良好的修复质量，同时通过记忆和改进冗余计算来提高传输速率。

    Mar, 2024

  • CBinfer：利用帧间局部性加速卷积神经网络对视频流的推断

    采用新算法利用空间 - 时间稀疏性在计算机视觉中取得了高能效，即使在嵌入式设备上不需要重新训练网络，也可在语义分割应用中达到快速且准确的实时推断

    Aug, 2018

  • 使用时空卷积进行视频帧插值的非线性运动估计

    本文提出了一种适应性选择运动模型的时空卷积网络来逼近像素间的运动。通过实验结果证实算法在四个数据集上的表现均优于现有算法，尤其是在处理非线性运动和运动不连续的情况下具有显著优势。

    Jan, 2022