CVPRJun, 2022

VideoINR：学习视频隐式神经表示实现连续的时空超分辨率

PDF
TL;DR本研究提出了 Video Implicit Neural Representation (VideoINR) 的框架，支持任意空间分辨率和帧率的 STVSR，相比之前的方法在超出训练分布范围的数据上表现出更好的性能，这对提高视频质量有着很大的实际意义。
space-time video super-resolutionvideo implicit neural representationtemporal interpolationspatial super-resolutionframe rate
发现论文，激发创造
  • HR-INR: 基于事件相机的连续时空视频超分辨率

    提出了一种基于 INR 的新型连续时空视频超分辨率（C-STVSR）框架，通过事件相机捕捉全局依赖性和区域运动，利用时空嵌入捕捉长期依赖性，从而提高视频分辨率和帧率。

    May, 2024

  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024

  • RSTT: 实时时空变换器用于时空视频超分辨率

    提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。

    Mar, 2022

  • 通过交替优化实现可解释的视频超分辨率

    本文提出了一种可行的空时视频超分辨率（STVSR）框架，以解决鲁棒的视频采集中模糊、模糊和低分辨率等挑战，提供优异的定量测量和视觉质量表现。

    Jul, 2022

  • 学习时空隐式神经表示以进行事件引导的视频超分辨率

    本文提出一种新的方法，利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复，实验结果表明，该方法显著超过以往技术。

    Mar, 2023

  • NERV++：一种增强的隐式神经视频表示方法

    通过引入神经代表视频的 NeRV++，作为 NeRV 解码器架构的一种增强改进方法，使用可分离卷积残差块（SCRBs）和双线性插值跳跃层等特性，大幅提高了 INR-based 视频编解码的效果和表示能力，实现了与自动编码器基于视频编码相竞争的结果，迈向了 INR-based 视频压缩研究的重大进展。

    Feb, 2024

  • 时空感知多分辨率视频增强

    本文提出了一个名为 STARnet 的模型，旨在通过同时提高空间分辨率和插值帧率来解决空时超分辨率问题，并利用时间和空间之间相互信息关系的优势，提供更加准确的运动信息和像素对齐。该模型能够有效提高空时、空间和时间视频超分辨率的性能。

    Mar, 2020

  • 可控时空视频超分辨率的时间调制网络

    本文提出了一种使用 “时间调制网络” 的方法，结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索，以提高低分辨率和低帧率视频的空间和时间分辨率，实验结果表明，该方法的性能优于现有的 STVSR 方法。

    Apr, 2021

  • 仅需一次对齐：空时视频超分辨率的双向交互

    该研究提出了一种新的基于双向交互的有效和高效的时空视频超分辨率方法，并设计了混合融合模块，用于聚合和提炼信息以改进空间信息和重构高质量视频帧，实验表明，我们的方法在效率上优于现有的方法并降低了约 22% 的计算成本。

    Jul, 2022

  • 多视图视频压缩的隐性 - 显性集成表示

    通过隐式 - 显式混合编码和多层特征网格嵌入，我们提出了一种用于多视点视频压缩的方法，实验证明该方法在视点压缩和场景建模方面取得了与最新的多视点视频压缩标准 MIV 和其他基于隐式神经表示的方案相当甚至更好的性能。

    Nov, 2023