Mar, 2023

学习时空隐式神经表示以进行事件引导的视频超分辨率

PDF
TL;DR本文提出一种新的方法，利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复，实验结果表明，该方法显著超过以往技术。
event camerasvideo superresolutionspatial-temporal interpolationimplicit neural representationsrandom scales
发现论文，激发创造
  • HR-INR: 基于事件相机的连续时空视频超分辨率

    提出了一种基于 INR 的新型连续时空视频超分辨率（C-STVSR）框架，通过事件相机捕捉全局依赖性和区域运动，利用时空嵌入捕捉长期依赖性，从而提高视频分辨率和帧率。

    May, 2024

  • VideoINR：学习视频隐式神经表示实现连续的时空超分辨率

    本研究提出了 Video Implicit Neural Representation (VideoINR) 的框架，支持任意空间分辨率和帧率的 STVSR，相比之前的方法在超出训练分布范围的数据上表现出更好的性能，这对提高视频质量有着很大的实际意义。

    Jun, 2022

  • 仅需一次对齐：空时视频超分辨率的双向交互

    该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法，并设计了混合融合模块，用于聚合和提炼信息以改进空间信息和重构高质量视频帧，实验表明，我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。

    Jul, 2022

  • EventSR: 通过端到端的对抗学习，从异步事件到图像重建、修复和超分辨率

    本文提出了一种基于事件流的、重建低分辨率图像、提高图像质量并提高分辨率的新方法 ——EventSR。该方法是基于非监督式对抗学习的，对缺乏真实高分辨率图像的情况下进行重建，并利用了包括真实和模拟场景在内的数据集来提高网络性能。实验结果表明，EventSR 可以在仿真和实际数据场景下从事件中重建出高质量的高分辨率图像。

    Mar, 2020

  • 通过交替优化实现可解释的视频超分辨率

    本文提出了一种可行的空时视频超分辨率（STVSR）框架，以解决鲁棒的视频采集中模糊、模糊和低分辨率等挑战，提供优异的定量测量和视觉质量表现。

    Jul, 2022

  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024

  • 学习轨迹感知的视频超分辨率转换器

    本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法，利用空间和时间的信息来实现视频帧的超分辨率，实验证明该方法优于现有的超分辨率模型。

    Apr, 2022

  • 跨尺度和跨维度：使用深度内部学习进行时间超分辨率

    本文提出了一种基于 Deep Internal Learning 的 Temporal Super-Resolution 方法，利用小空间时间片段内部的强烈重复性，从而在不使用任何其他数据集的情况下，实现了复杂视频的零成本 Temporal Super-Resolution，有效消除运动模糊和运动混叠效果，并超越了以往依赖于外部数据集进行训练的监督方法。

    Mar, 2020

  • RSTT: 实时时空变换器用于时空视频超分辨率

    提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。

    Mar, 2022

  • 适用于滚动快门影像的事件引导式视频帧插值的自监督学习

    通过事件相机数据来指导自监督学习框架，以非线性稠密的 3D 时空信息估计位移场 (DF) 来应对回滚快门帧 (RS) 采集运动物体时的失真，实现相机任意帧速率插值 (VFI) 和 RS 帧到 GS 帧的互相重构。

    Jun, 2023