利用隐式神经表示的沉浸式视频压缩
本文介绍了一种基于 HiNeRV 的视频编解码器,该编解码器具有更高的容量和更好的性能,并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。
Jun, 2023
通过隐式 - 显式混合编码和多层特征网格嵌入,我们提出了一种用于多视点视频压缩的方法,实验证明该方法在视点压缩和场景建模方面取得了与最新的多视点视频压缩标准 MIV 和其他基于隐式神经表示的方案相当甚至更好的性能。
Nov, 2023
通过引入神经代表视频的 NeRV++,作为 NeRV 解码器架构的一种增强改进方法,使用可分离卷积残差块(SCRBs)和双线性插值跳跃层等特性,大幅提高了 INR-based 视频编解码的效果和表示能力,实现了与自动编码器基于视频编码相竞争的结果,迈向了 INR-based 视频压缩研究的重大进展。
Feb, 2024
本文提出了一种名为 HNeRV 的混合神经表示,其中可学习的编码器生成内容自适应嵌入,其用作解码器输入。通过内容自适应嵌入和重新设计的架构,HNeRV 在视频回归任务中的重构质量(+4.7 PSNR)和收敛速度(16 倍)方面优于隐式方法,并展示了更好的内部泛化。作为一种简单高效的视频表示方法,HNeRV 也与传统编解码器(H.264,H.265)和基于学习的压缩方法相比,具有更快的解码速度、更大的灵活性和更简单的部署,并且能够在视频压缩和视频修补等下游任务中发挥作用。
Apr, 2023
该研究提出了一种新的神经表示框架 D-NeRV,旨在以更高效的方式对长时间或大量的不同内容的视频进行编码。使用这种方法,该方法的压缩结果大大超过了现有的 NeRV 和传统视频压缩技术,同时在相同的压缩率下,其在 UCF101 数据集上用作高效数据加载器时的准确度比 NeRV 提高了 3 至 10%。
Mar, 2023
通过引入具有自适应内容嵌入的混合神经表示视频(HNeRV)和一个新颖组件 ——VQ-NeRV 块,我们提出了一个先进的 U 型架构,Vector Quantized-NeRV(VQ-NeRV),以在视频回归任务中提供卓越的重建质量、更好的比特率和改善的视频修复结果。
Mar, 2024
通过引入条件解码器与熵最小化技术,该研究提出了一种通用增强框架,成功提升了隐式神经表示在视频存储与处理中的效果,并在多个基线模型上展现了优越的重建质量和收敛速度,为视频回归、修复和插值任务提供了一种强大的技术。
Feb, 2024
通过引入多项式神经网络,本研究提出了一种针对视频的参数高效、面片级内隐神经表示的方法(PNeRV),该方法在保留空间连续性的同时,充分利用了连续时间的模糊能力,解决了视频数据领域内内隐神经表示所面临的挑战,并为先进的视频处理和分析开辟了新的途径。
Jun, 2024
从函数拟合的角度分析了现有的隐式神经表征方法在处理具有大运动或动态场景时建模能力不足的问题,提出了基于帧间差异的 DNeRV 显式运动信息神经表征方法,用于视频压缩、修复和插帧等任务,并在 $960 imes1920$ 的视频上得到了比现有隐式方法更好的效果。
Apr, 2023