Jul, 2017

运动补偿视频超分辨率的端到端学习

PDF
TL;DR本文提出了一种端到端的视频超分辨率网络，它包括了在整个网络架构中估计光流，研究了光流在视频超分辨率中的使用，并发现常见的离线图像变形不利于视频超分辨率，因此提出了一种运动补偿操作。通过对整张图像进行处理而不是独立的图像块，可以大幅提高精度。结果表明，使用该网络架构可以受益于光流，获得了在流行测试集上的最佳结果。
learning approachessuper-resolutionvideooptical flownetwork architecture
发现论文，激发创造
  • 通过高分辨率光流估计进行视频超分辨率学习

    本文提出了一个端到端可训练的视频超分辨率框架，使用 HR 光流可提供更精确的对应关系并提高性能。在 Vid4 和 DAVIS-10 数据集上进行的比较结果显示，我们的框架实现了最先进的表现。

    Sep, 2018

  • 使用高分辨率光流估计的深度视频超分辨率

    本文提出了一种用于视频超分辨率的端到端深度学习网络，其中通过光流重建和图像超分辨率的结合，采用粗到细的方式实现了高分辨率光流的重建和精细细节的恢复，以解决视频 SR 中针对低分辨率光流与高分辨率输出间存在的分辨率矛盾问题，并通过广泛实验证明了其在提高视频 SR 性能方面的有效性及其在 Vid4 和 DAVIS-10 数据集上的最新成果。

    Jan, 2020

  • 基于帧递归的视频超分辨率重建

    本研究提出了一种端到端可训练的帧递归视频超分辨率框架，使用先前的高分辨率估计来超分辨率下一个帧，自然鼓励时态一致结果并降低计算成本。

    Jan, 2018

  • 时空网络与运动补偿的实时视频超分辨率

    本论文提出一种新的视频超分辨率算法，即同时处理多个连续视频帧的 spatio-temporal sub-pixel convolution networks，并采用了创新性的运动补偿和视频超分辨率算法，相比于单帧模型，网络可以减少 30％的计算成本同时保持相同的质量，或者在相似的计算成本下提供 0.2dB 的增益。在公开数据集上的结果表明，该算法在精度和效率方面均超过当前的最新性能。

    Nov, 2016

  • 通过单个运动模糊图像的光流估计

    该研究提出了一种新的框架，利用 Transformer 网络从单个运动模糊图像中端到端地估计光流，并通过粗到细的方式评估了该模型的性能和应用。

    Mar, 2021

  • 任务导向流的视频增强

    本研究提出了一种基于任务的流程（TOFlow），该方法采用自我监督的方式以任务特定的方式学习运动表示，并在视频插值、视频去噪 / 去块以及视频超分辨率等三个视频处理任务上超越了传统的光流方法。

    Nov, 2017

  • 基于增强相关匹配的视频帧插值

    该研究提出了一种基于 DNN 的新框架，名为 ECM-VFI，用于高分辨率视频帧插值，包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示，该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优，并且具有最少的模型参数。

    Nov, 2021

  • 细节呈现的深度视频超分辨率

    本文提出了一种基于 CNN 框架的次像素运动补偿层方法（SPMC），通过合适的帧对齐和运动补偿提高了视频超分辨率重建的质量，且无需参数调节，最终实现了高质量的图像细节恢复。

    Apr, 2017

  • 视频理解的动作表示端到端学习

    提出了一种名为 TVNet 的新型端到端可训练神经网络，能够从数据中学习类似光流的特征，通过端到端训练可以进一步微调 TVNet 的参数以学习更丰富的和任务特定的模式，实验证明该方法在动作识别方面比所有对比方法都更准确，同时在特征提取时间方面与当前最快的对手相当。

    Apr, 2018

  • 基于压缩先验的视频超分辨率算法（COMISR）

    本文提出了一种新的有压缩感知的视频超分辨率模型，旨在恢复高分辨率内容而不引入压缩引起的伪影。该模型包括三个模块：双向循环变形、保留细节的流估计和拉普拉斯增强，针对包含压缩的视频的性质设计实现。经过大量实验，表明该方法不仅能从常用基准数据集中恢复未压缩帧上的高分辨率内容，而且基于许多数量化指标在超分辨压缩视频方面也达到了最先进的性能。

    May, 2021