Apr, 2021

PDWN: 金字塔可变形配准网络用于视频插帧

PDF
TL;DR通过金字塔可变卷积结构和上下文增强网络，我们提出了一种称为 Pyramid Deformable Warping Network（PDWN）的轻量而有效的模型，可用于视频帧插值。该方法使用粗到细的连续细化来生成未知中间帧相对于已知帧的 DConv 偏移，并在每个金字塔级别计算扭曲特性之间的成本卷积以帮助偏移量推断。在最细的尺度上，这两个扭曲帧被自适应地混合以生成中间帧，其准确性可与同类模型相媲美甚至更优。
video interpolationoptical flowdeformable convolutionpyramid structurecontext enhancement network
发现论文，激发创造
  • 基于增强相关匹配的视频帧插值

    该研究提出了一种基于 DNN 的新框架，名为 ECM-VFI，用于高分辨率视频帧插值，包括具有大规模运动和遮挡的 4K 视频数据。通过递归追踪最大相关位置来改善光流更新的准确性。采用前向曲面匹配可以通过排除遮挡区域周围的错误曲面特征来提高更新精度和提高细化和混合网络生成的任意时间点的中间帧的质量。实验结果显示，该方案在 4K 视频数据和低分辨率基准数据集方面比以前的作品表现更优，并且具有最少的模型参数。

    Nov, 2021

  • PWC-Net：使用金字塔、光流矫正和代价体积的卷积神经网络

    我们提出了一种紧凑但有效的卷积神经网络模型，用于光流预测，名为 PWC-Net，其通过金字塔处理、扭曲变换和成本体积使用学习功能进行设计，该模型在 MPI Sintel 最终传递和 KITTI 2015 基准测试上优于所有发表的光流方法，同时比最近的 FlowNet2 模型小 17 倍且易于训练。

    Sep, 2017

  • DwNet: 密集基于光流场的人体姿态引导视频生成网络

    该研究报告介绍了一种基于 GAN 的架构 DwNet，利用密集的姿态引导表示和改进的过程，将源图像中所需的主体外观，以纹理的形式，从一种姿势变换成所需的姿势，进而生成具有时序一致性的高分辨率人像视频，并在两个基准数据集上展现出先进的性能表现

    Oct, 2019

  • 基于可变形卷积和粗到细的三维卷积神经网络提升视频帧插值

    本研究提出了一种使用可变形卷积的视频帧插值方法，使用粗到细的 3D CNN 增强多流预测，实验结果表明，该方法的干涉性能优于其他现有算法，最高可以获得 0.19dB 的 PSNR 增益。

    Feb, 2022

  • PCW-Net：金字塔组合与变形代价体用于立体匹配

    该研究提出了一种名为 PCW-Net 的深度学习模型，它利用代价体积、金字塔结构和图像拉伸等先进技术，在实现跨域泛化的同时提高立体匹配的准确性，其在 KITTI 2012 和 Argoverse 等数据集上取得了最好的性能。

    Jun, 2020

  • 深度感知视频帧插值

    该研究提出了一种通过探索深度信息来明确检测遮挡的视频帧插值方法，其中利用深度感知流投影层来合成中间流动图像，并且通过分类学习来收集周边像素的上下文信息，实现了输入帧、深度图和像素之间的变换以实现帧合成。

    Apr, 2019

  • 使用空间金字塔网络估计光流

    本文提出了 SPyNet (空间金字塔网络) 算法，结合经典的空间金字塔和深度学习来计算光学流的大运动。相较于先前的 FlowNet 方法，SPyNet 更小、更高效，并且能够在标准基准测试中获得更高精度的结果。

    Nov, 2016

  • 统一的金字塔循环网络用于视频帧插值

    UPR-Net 是一种基于光流和轻量级循环模块的新型统一金字塔递归网络，采用迭代合成策略和双向光流估计来提高大运动情况下的帧间插值鲁棒性能。

    Nov, 2022

  • 可变形核网络用于联合图像滤波

    该论文提出了 DKN 卷积神经网络架构及其高效实现，使用稀疏且空间可变的滤波核进行图像增强和降噪，并在深度图上采样，显著优于现有技术。

    Oct, 2019

  • 通过表示扭曲的方法实现语义视频卷积神经网络

    本文提出了一种将用于静态图像的 CNN 模型转换为用于视频数据的 CNN 模型的技术，利用名为 NetWarp 的模块，通过邻帧的光流在时间上进行网络表示的扭曲，同时将光流方法与不同的 CNN 架构结合以实现改进，最终在 CamVid 和 Cityscapes 数据集上实现了最新的最佳效果。

    Aug, 2017