NeRV: 视频神经表示
本文提出了一种名为 HNeRV 的混合神经表示,其中可学习的编码器生成内容自适应嵌入,其用作解码器输入。通过内容自适应嵌入和重新设计的架构,HNeRV 在视频回归任务中的重构质量(+4.7 PSNR)和收敛速度(16 倍)方面优于隐式方法,并展示了更好的内部泛化。作为一种简单高效的视频表示方法,HNeRV 也与传统编解码器(H.264,H.265)和基于学习的压缩方法相比,具有更快的解码速度、更大的灵活性和更简单的部署,并且能够在视频压缩和视频修补等下游任务中发挥作用。
Apr, 2023
该研究提出了一种新的神经表示框架 D-NeRV,旨在以更高效的方式对长时间或大量的不同内容的视频进行编码。使用这种方法,该方法的压缩结果大大超过了现有的 NeRV 和传统视频压缩技术,同时在相同的压缩率下,其在 UCF101 数据集上用作高效数据加载器时的准确度比 NeRV 提高了 3 至 10%。
Mar, 2023
通过引入具有自适应内容嵌入的混合神经表示视频(HNeRV)和一个新颖组件 ——VQ-NeRV 块,我们提出了一个先进的 U 型架构,Vector Quantized-NeRV(VQ-NeRV),以在视频回归任务中提供卓越的重建质量、更好的比特率和改善的视频修复结果。
Mar, 2024
通过引入神经代表视频的 NeRV++,作为 NeRV 解码器架构的一种增强改进方法,使用可分离卷积残差块(SCRBs)和双线性插值跳跃层等特性,大幅提高了 INR-based 视频编解码的效果和表示能力,实现了与自动编码器基于视频编码相竞争的结果,迈向了 INR-based 视频压缩研究的重大进展。
Feb, 2024
本文介绍了一种基于 HiNeRV 的视频编解码器,该编解码器具有更高的容量和更好的性能,并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。
Jun, 2023
本文提出了一种名为 E-NeRV 的新模型,通过将图像隐式神经表示分解为独立的空间和时间上下文,极大地减少了模型中的冗余参数,同时保留了 NeRV 的表达能力,并使性能得到显著提高。
Jul, 2022
通过 DS-NeRV 方法,将视频分解为可学习的稀疏静态代码和动态代码,无需显式光流或残差监督,有效利用冗余的静态信息,同时保持高频细节,通过交叉通道注意力融合模块实现帧解码,性能在各项下游任务中超过其他 NeRV 方法。
Mar, 2024
通过引入多项式神经网络,本研究提出了一种针对视频的参数高效、面片级内隐神经表示的方法(PNeRV),该方法在保留空间连续性的同时,充分利用了连续时间的模糊能力,解决了视频数据领域内内隐神经表示所面临的挑战,并为先进的视频处理和分析开辟了新的途径。
Jun, 2024
提出了一种基于多尺度信息连接和轻量级重缩放运算符、Kronecker 全连接层(KFc)、以及良性选择性记忆(BSM)机制的金字塔神经表示视频方法(PNeRV),以解决当前神经表示视频(NeRV)系统面临的空间不一致问题,并且通过全面的实验验证了其优越性能。
Apr, 2024
从函数拟合的角度分析了现有的隐式神经表征方法在处理具有大运动或动态场景时建模能力不足的问题,提出了基于帧间差异的 DNeRV 显式运动信息神经表征方法,用于视频压缩、修复和插帧等任务,并在 $960 imes1920$ 的视频上得到了比现有隐式方法更好的效果。
Apr, 2023