CVPRApr, 2022

用于立体视频超分辨率的新数据集和变压器

PDF
TL;DR本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法，利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理，使用视差注意机制融合立体视点，对新收集的 SVSR-Set 数据集进行了广泛实验，取得了与最新方法相媲美的结果。
stereo video super-resolutiontransformer-based modelspatio-temporal convolutional self-attention layeroptical flow-based feed-forward layerparallax attention mechanism
发现论文，激发创造
  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021

  • 学习轨迹感知的视频超分辨率转换器

    本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法，利用空间和时间的信息来实现视频帧的超分辨率，实验证明该方法优于现有的超分辨率模型。

    Apr, 2022

  • 仅需一次对齐：空时视频超分辨率的双向交互

    该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法，并设计了混合融合模块，用于聚合和提炼信息以改进空间信息和重构高质量视频帧，实验表明，我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。

    Jul, 2022

  • 通过交替优化实现可解释的视频超分辨率

    本文提出了一种可行的空时视频超分辨率（STVSR）框架，以解决鲁棒的视频采集中模糊、模糊和低分辨率等挑战，提供优异的定量测量和视觉质量表现。

    Jul, 2022

  • RSTT: 实时时空变换器用于时空视频超分辨率

    提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。

    Mar, 2022

  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024

  • 学习时空频率变换器进行压缩视频超分辨率

    本文提出了一种基于 Frequency-Transformer 的压缩视频超分辨率方法，通过在空间、时间、频率域进行自注意力机制，有效地提取并转移高质量纹理进行视频帧增强和恢复。实验结果表明，该方法在两个广泛使用的视频超分辨率基准测试中均表现优于现有技术，并且在无损和有损视频上均具有明显的视觉优势。

    Aug, 2022

  • 使用视差约束并行注意力的立体内窥镜图像超分辨率

    本文提出了基于深度神经网络框架加入视差限制机制的 DCSSRnet 算法，用于提高立体图像对的空间分辨率，实验结果表明该算法在定量和定性评估上优于目前的 SR 方法。

    Mar, 2020

  • 对称视觉注意力网络实现高效图像超分辨率

    通过应用大感受野，我们提出了一种称为 Symmetric Visual Attention Network (SVAN) 的方法来改进高效超分辨率重建，减少了算法参数的数量并提高了模型的感知能力。实验结果表明，我们的方法只使用了现有 SOTA 方法约 30% 的参数，却能获得高质量的超分辨率重建结果。

    Jan, 2024

  • 使用多相机视频三元组参考的视频超分辨率

    该研究提出利用引用视频进行超分辨率处理的引用视频超分辨率（RefVSR）网络模型，实验结果表明，该模型在三个摄像头的超宽视频三重组成的数据集上表现出了最先进的 4x 超分辨率性能。

    Mar, 2022