CVPRMar, 2024

DS-NeRV：用分解的静态动态代码进行隐式神经视频表示

PDF
TL;DR通过 DS-NeRV 方法，将视频分解为可学习的稀疏静态代码和动态代码，无需显式光流或残差监督，有效利用冗余的静态信息，同时保持高频细节，通过交叉通道注意力融合模块实现帧解码，性能在各项下游任务中超过其他 NeRV 方法。
nervds-nervimplicit neural representationssparse learnable static codesdynamic codes
发现论文，激发创造
  • NeRV: 视频神经表示

    我们提出了一种将视频编码到神经网络中的新型神经表示方法（NeRV），可以提高视频编码和解码的效率并广泛地应用于视频压缩或去噪等任务。

    Oct, 2021

  • 面向多样化视频的可扩展神经表达

    该研究提出了一种新的神经表示框架 D-NeRV，旨在以更高效的方式对长时间或大量的不同内容的视频进行编码。使用这种方法，该方法的压缩结果大大超过了现有的 NeRV 和传统视频压缩技术，同时在相同的压缩率下，其在 UCF101 数据集上用作高效数据加载器时的准确度比 NeRV 提高了 3 至 10％。

    Mar, 2023

  • E-NeRV: 基于解耦空时上下文的神经视频表达加速

    本文提出了一种名为 E-NeRV 的新模型，通过将图像隐式神经表示分解为独立的空间和时间上下文，极大地减少了模型中的冗余参数，同时保留了 NeRV 的表达能力，并使性能得到显著提高。

    Jul, 2022

  • HNeRV: 用于视频的混合神经表示

    本文提出了一种名为 HNeRV 的混合神经表示，其中可学习的编码器生成内容自适应嵌入，其用作解码器输入。通过内容自适应嵌入和重新设计的架构，HNeRV 在视频回归任务中的重构质量（+4.7 PSNR）和收敛速度（16 倍）方面优于隐式方法，并展示了更好的内部泛化。作为一种简单高效的视频表示方法，HNeRV 也与传统编解码器（H.264，H.265）和基于学习的压缩方法相比，具有更快的解码速度、更大的灵活性和更简单的部署，并且能够在视频压缩和视频修补等下游任务中发挥作用。

    Apr, 2023

  • DNeRV：使用差异神经表示建模视频的内在动态

    从函数拟合的角度分析了现有的隐式神经表征方法在处理具有大运动或动态场景时建模能力不足的问题，提出了基于帧间差异的 DNeRV 显式运动信息神经表征方法，用于视频压缩、修复和插帧等任务，并在 $960 imes1920$ 的视频上得到了比现有隐式方法更好的效果。

    Apr, 2023

  • VQ-NeRV：一种用于视频的向量量化神经表示

    通过引入具有自适应内容嵌入的混合神经表示视频（HNeRV）和一个新颖组件 ——VQ-NeRV 块，我们提出了一个先进的 U 型架构，Vector Quantized-NeRV（VQ-NeRV），以在视频回归任务中提供卓越的重建质量、更好的比特率和改善的视频修复结果。

    Mar, 2024

  • NERV++：一种增强的隐式神经视频表示方法

    通过引入神经代表视频的 NeRV++，作为 NeRV 解码器架构的一种增强改进方法，使用可分离卷积残差块（SCRBs）和双线性插值跳跃层等特性，大幅提高了 INR-based 视频编解码的效果和表示能力，实现了与自动编码器基于视频编码相竞争的结果，迈向了 INR-based 视频压缩研究的重大进展。

    Feb, 2024

  • HiNeRV：基于分层编码的神经表达的视频压缩

    本文介绍了一种基于 HiNeRV 的视频编解码器，该编解码器具有更高的容量和更好的性能，并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。

    Jun, 2023

  • PNeRV：通过金字塔神经表达增强视频空间一致性

    提出了一种基于多尺度信息连接和轻量级重缩放运算符、Kronecker 全连接层（KFc）、以及良性选择性记忆（BSM）机制的金字塔神经表示视频方法（PNeRV），以解决当前神经表示视频（NeRV）系统面临的空间不一致问题，并且通过全面的实验验证了其优越性能。

    Apr, 2024

  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021