Oct, 2023

HSTR-Net: 基于参考图像的双摄像头航空监视视频超分辨率

PDF
TL;DR本文提出了一种用于航空监视的双摄像头系统，通过基于参考的超分辨率生成高空间 - 时间分辨率视频帧，并结合光流估计和注意机制，以捕捉两个视频源帧之间的细微运动和复杂依赖关系。通过模拟实验，证明该模型在 PSNR 和 SSIM 度量方面相较现有的基于参考的超分辨率技术取得显著改进，并在功耗受限的无人机上部署时表现出足够的帧率适用于广域航空监视。
aerial surveillancespatio-temporal resolutionvideo generationdual camera systemdeep learning
发现论文，激发创造
  • 使用多相机视频三元组参考的视频超分辨率

    该研究提出利用引用视频进行超分辨率处理的引用视频超分辨率（RefVSR）网络模型，实验结果表明，该模型在三个摄像头的超宽视频三重组成的数据集上表现出了最先进的 4x 超分辨率性能。

    Mar, 2022

  • 双摄像头对齐注意力模块超分辨率

    该研究提出了一种使用参考图像进行高保真图像超分辨率的新方法，针对双摄像头超分辨率进行了重点研究，其利用空间对齐操作推广了标准的基于补丁的特征匹配方法。进一步探索了 RefSR 的一种有前途的应用：双摄像头超分辨率，并构建了由智能手机主摄像头和长焦摄像头的 146 个图像对组成的数据集。此外，为了弥合现实世界图像和训练图像之间的领域差距，该研究提出了一种自我监督的领域自适应策略。对数据集和公共基准的广泛实验表明，该方法在定量评估和视觉比较方面均显著优于现有最优方法。

    Sep, 2021

  • RSTT: 实时时空变换器用于时空视频超分辨率

    提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。

    Mar, 2022

  • RefVSR++：利用参考输入进行基于参考的视频超分辨率

    智能手机配备多摄像头系统和参考超分辨率以及视频超分辨率，可以同时改善图像质量；本文提出了 RefVSR 和 RefVSR++ 方法，通过独立地在时间方向上聚合图像序列并改进对齐机制，RefVSR++ 在 PSNR 上超过 RefVSR 1dB，达到最新的技术水平。

    Jul, 2023

  • 时空感知多分辨率视频增强

    本文提出了一个名为 STARnet 的模型，旨在通过同时提高空间分辨率和插值帧率来解决空时超分辨率问题，并利用时间和空间之间相互信息关系的优势，提供更加准确的运动信息和像素对齐。该模型能够有效提高空时、空间和时间视频超分辨率的性能。

    Mar, 2020

  • HighRes-net：多帧卫星图像超分辨率递归融合

    本论文提出了一种基于深度学习的多帧超分辨率方法 HighRes-net，首次使用端到端的方式学习了低分辨率图像的配准、融合和上采样等任务，并通过准确的配准和 ShiftNet 算法实现了真实卫星图像的超分辨率处理，促进了地球观测数据的应用。

    Feb, 2020

  • 使用高分辨率光流估计的深度视频超分辨率

    本文提出了一种用于视频超分辨率的端到端深度学习网络，其中通过光流重建和图像超分辨率的结合，采用粗到细的方式实现了高分辨率光流的重建和精细细节的恢复，以解决视频 SR 中针对低分辨率光流与高分辨率输出间存在的分辨率矛盾问题，并通过广泛实验证明了其在提高视频 SR 性能方面的有效性及其在 Vid4 和 DAVIS-10 数据集上的最新成果。

    Jan, 2020

  • 双流动作识别导向视频超分辨率

    针对行动识别任务中低空间分辨率视频影响识别准确性的问题，提出了基于光流的 SR 方法和 siamese 网络的 SR 方法，对包括 UCF101 和 HMDB51 的两个数据集进行实验，并证明了我们提议的 SoSR 和 ToSR 方法在提高识别准确性方面的有效性。

    Mar, 2019

  • 通过高分辨率光流估计进行视频超分辨率学习

    本文提出了一个端到端可训练的视频超分辨率框架，使用 HR 光流可提供更精确的对应关系并提高性能。在 Vid4 和 DAVIS-10 数据集上进行的比较结果显示，我们的框架实现了最先进的表现。

    Sep, 2018

  • 用于立体视频超分辨率的新数据集和变压器

    本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法，利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理，使用视差注意机制融合立体视点，对新收集的 SVSR-Set 数据集进行了广泛实验，取得了与最新方法相媲美的结果。

    Apr, 2022