CVPRApr, 2023

HNeRV: 用于视频的混合神经表示

PDF
TL;DR本文提出了一种名为 HNeRV 的混合神经表示，其中可学习的编码器生成内容自适应嵌入，其用作解码器输入。通过内容自适应嵌入和重新设计的架构，HNeRV 在视频回归任务中的重构质量（+4.7 PSNR）和收敛速度（16 倍）方面优于隐式方法，并展示了更好的内部泛化。作为一种简单高效的视频表示方法，HNeRV 也与传统编解码器（H.264，H.265）和基于学习的压缩方法相比，具有更快的解码速度、更大的灵活性和更简单的部署，并且能够在视频压缩和视频修补等下游任务中发挥作用。
hybrid neural representation for videoscontent-adaptive embeddingsvideo regressionhnerv blocksvideo compression
发现论文，激发创造
  • NeRV: 视频神经表示

    我们提出了一种将视频编码到神经网络中的新型神经表示方法（NeRV），可以提高视频编码和解码的效率并广泛地应用于视频压缩或去噪等任务。

    Oct, 2021

  • VQ-NeRV：一种用于视频的向量量化神经表示

    通过引入具有自适应内容嵌入的混合神经表示视频（HNeRV）和一个新颖组件 ——VQ-NeRV 块，我们提出了一个先进的 U 型架构，Vector Quantized-NeRV（VQ-NeRV），以在视频回归任务中提供卓越的重建质量、更好的比特率和改善的视频修复结果。

    Mar, 2024

  • HiNeRV：基于分层编码的神经表达的视频压缩

    本文介绍了一种基于 HiNeRV 的视频编解码器，该编解码器具有更高的容量和更好的性能，并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。

    Jun, 2023

  • 利用隐式神经表示的沉浸式视频压缩

    首次将内隐神经表示（INR）应用于多视角视频，通过提出基于 INR 的 MV-HiNeRV，它是一种新的增强型多视角视频编解码器，用于高效地表示和编码传统视频内容，并在 MPEG Immersive Video（MIV）的测试中表现出卓越的性能。

    Feb, 2024

  • 面向多样化视频的可扩展神经表达

    该研究提出了一种新的神经表示框架 D-NeRV，旨在以更高效的方式对长时间或大量的不同内容的视频进行编码。使用这种方法，该方法的压缩结果大大超过了现有的 NeRV 和传统视频压缩技术，同时在相同的压缩率下，其在 UCF101 数据集上用作高效数据加载器时的准确度比 NeRV 提高了 3 至 10％。

    Mar, 2023

  • NERV++：一种增强的隐式神经视频表示方法

    通过引入神经代表视频的 NeRV++，作为 NeRV 解码器架构的一种增强改进方法，使用可分离卷积残差块（SCRBs）和双线性插值跳跃层等特性，大幅提高了 INR-based 视频编解码的效果和表示能力，实现了与自动编码器基于视频编码相竞争的结果，迈向了 INR-based 视频压缩研究的重大进展。

    Feb, 2024

  • PNeRV: 用于视频的多项式神经表示

    通过引入多项式神经网络，本研究提出了一种针对视频的参数高效、面片级内隐神经表示的方法（PNeRV），该方法在保留空间连续性的同时，充分利用了连续时间的模糊能力，解决了视频数据领域内内隐神经表示所面临的挑战，并为先进的视频处理和分析开辟了新的途径。

    Jun, 2024

  • E-NeRV: 基于解耦空时上下文的神经视频表达加速

    本文提出了一种名为 E-NeRV 的新模型，通过将图像隐式神经表示分解为独立的空间和时间上下文，极大地减少了模型中的冗余参数，同时保留了 NeRV 的表达能力，并使性能得到显著提高。

    Jul, 2022

  • PNeRV：通过金字塔神经表达增强视频空间一致性

    提出了一种基于多尺度信息连接和轻量级重缩放运算符、Kronecker 全连接层（KFc）、以及良性选择性记忆（BSM）机制的金字塔神经表示视频方法（PNeRV），以解决当前神经表示视频（NeRV）系统面临的空间不一致问题，并且通过全面的实验验证了其优越性能。

    Apr, 2024

  • DNeRV：使用差异神经表示建模视频的内在动态

    从函数拟合的角度分析了现有的隐式神经表征方法在处理具有大运动或动态场景时建模能力不足的问题，提出了基于帧间差异的 DNeRV 显式运动信息神经表征方法，用于视频压缩、修复和插帧等任务，并在 $960 imes1920$ 的视频上得到了比现有隐式方法更好的效果。

    Apr, 2023