Mar, 2022

学习时空下采样以实现有效的视频提升

PDF
TL;DR本文提出了一个神经网络框架，该框架能够联合学习时空下采样和上采样，并提出了两个新模块以解决时空去混叠问题和提高重建性能。实验证明，该方法显著提高了时空重构质量，并且能够应用于任意视频重采样、模糊帧重建和高效视频存储。
downsamplingspatio-temporalupsamplingneural networkvideo processing
发现论文，激发创造
  • 通过时空数据过度拟合实现高质量、高效的视频超分辨率

    利用深度卷积神经网络，结合时空信息，通过数据导向联合训练技术，实现高质量高效实时的视频超分辨率提升，相比现有技术在流媒体视频分辨率提升任务中提高了 14 倍帧率同时提高 2.29dB 的画质。

    Mar, 2023

  • 针对超高分辨率图像分割的降采样学习

    本文提出一种基于学习性下采样模块的图像分割算法来解决低成本语义分割，优化采样密度分布并通过规则项鼓励采样位置聚焦于对象边界，实验证明对图像分辨率高、计算资源限制的三组数据集均具有高效 - 准确性的优势。

    Sep, 2021

  • 联合优化策略的视频缩放网络用于降采样和升采样

    本文针对视频重缩放问题展开研究，提出了基于耦合层可逆神经网络的联合优化方法，LSTM-VRN 利用时间信息进行低分辨率视频上的高频信息显式预测，MIMO-VRN 提出了一种同时降低和提高视频帧组的新策略。与基于图像的可逆模型相比，这两种方法在定量和定性结果上都优于它们，同时也比没有联合优化的视频重缩放方法表现得更好。据我们所知，这是首次尝试联合优化视频降低和提高。

    Mar, 2021

  • 深度时空视频上采样网络

    本文提出了一种利用端到端深度学习网络框架，有效地融合视频超分辨率和帧插值，以实现时空视频上采样的新方法，通过提出的加权方案，在不需要显式运动补偿的情况下有效地融合输入帧，相较于基线模型，在减少计算时间（加快了 7 倍）和参数数量（减少 30%）的同时，实现更好的定量和定性结果。

    Apr, 2020

  • 利用低分辨率光流和掩膜上采样的高效空时视频超分辨率

    本文提出了一种高效的时空超分辨率方法，结合视频超分辨率和视频帧插值模型，通过利用二次建模的低分辨率空间插值和基于双线性上采样的高分辨率合成方法，在 REDS STSR 验证集中优于当前最先进的模型。

    Apr, 2021

  • 深度 Fourier 上采样

    本研究提出了一种理论上有根据的 Deep Fourier Up-Sampling（FourierUp）来解决空间上采样运算符在全局建模中存在的局限性，包括对象检测、图像分割、图像去雨、图像去雾、引导图像超分辨率等多个计算机视觉任务的实验表明 FourierUp 的出色性能表现。

    Oct, 2022

  • 通过联合学习时空结构和空间细节进行视频修复

    本文提出了一种新的基于数据驱动的视频修复方法，采用了深度学习的网络结构，包含了两个子网络，一个是基于 3D 完全卷积的时间结构推断网络，另一个是二维全卷积网络的空间细节修复网络，该方法能够更好的恢复缺失的区域，并且其效果优于以往的视频修复方法。

    Jun, 2018

  • 提高上采样稳定性 —— 关于空间上下文的重要性

    通过使用卷积上采样操作并增加内核大小而保持编码器不变，我们首次探索了上采样过程中上下文的重要性，并发现增大内核大小可以提高像素预测任务的稳定性，尤其在图像修复或图像分割任务中。

    Nov, 2023

  • 高分辨率视频的时间一致性扩展扩散模型

    通过文本引导的潜在扩散框架，实现视频升尺度，并在保持时域一致性和质量平衡之间提供更大灵活性。

    Dec, 2023

  • 基于图的缺失数据时空降采样预测

    通过分层时空下采样，利用可解释的注意机制结合观测和缺失数据模式，我们的方法在不同的缺失数据分布以及连续缺失数据块存在的情况下，在合成和实际基准测试中优于最先进的方法。

    Feb, 2024