本文从图像压缩的角度出发,探索了INRs的作用,提出了基于INRs的全面压缩流水线并进行了广泛的消融研究,结果表明,该方法表现优异,且与专门为图像设计的常用压缩算法竞争力相当,接近基于率失真自编码器的最新学习方法。
Dec, 2021
本文介绍了一种基于HiNeRV的视频编解码器,该编解码器具有更高的容量和更好的性能,并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。
Jun, 2023
本文提出了一种名为Rapid-INR的创新方法,利用INR对图像进行编码和压缩,从而加速计算机视觉任务中的神经网络训练;该方法可以将整个数据集直接存储在GPU上,并提出了迭代动态剪枝和逐层量化来进一步增强压缩效果,并在图像分类任务中证明了其可行性。
通过引入神经代表视频的NeRV++,作为NeRV解码器架构的一种增强改进方法,使用可分离卷积残差块(SCRBs)和双线性插值跳跃层等特性,大幅提高了INR-based视频编解码的效果和表示能力,实现了与自动编码器基于视频编码相竞争的结果,迈向了INR-based视频压缩研究的重大进展。
Feb, 2024
视频压缩技术是传输和存储视频的关键,通过模型压缩网络来表示和压缩视频的隐式神经表示优化重建帧质量的方法中,使用低分辨率帧作为残余连接来改进细节表示,实验结果表明我们的方法在49个视频中的46个超过了现有方法HNeRV的峰值信噪比。
Jun, 2024
本研究解决了视频隐式神经网络在缺乏语义信息下,无法支持后续任务的问题。通过提出一个灵活框架,将视频的时空特征解耦,利用学习到的每帧潜在特征与大型视觉模型对齐,从而实现压缩和视频检索的优异性能。最大的发现是,该方法不仅实现了高效压缩,还可用于视频插值等多种任务,开创了领域的新方向。
Aug, 2024
本研究针对现有视频编解码器在解码复杂性和系统延迟方面的问题,提出了一种新颖的基于隐式神经表示(INR)的视频编码框架PNVC。该框架通过多项设计创新显著提高了压缩性能,相较于HEVC HM 18.0,BD率节省超过35%,并且为1080p内容保持了20+ FPS的解码速度,为INR视频编码的实际应用奠定了基础。
Sep, 2024
本研究解决了隐式神经表示(INR)视频编码在与最新标准编解码器比较时的性能不足问题。提出的新框架“神经视频表示压缩”(NVRC)通过优化熵编码和量化模型,首次实现全端到端的视频编码,并在UVG数据集上相较于VVC VTM实现了24%的平均编码增益,展示出显著的性能提升潜力。
本研究针对隐式神经表示(INRs)在图像压缩中的局限性进行探索,特别是计算成本、不稳定性能和鲁棒性等问题。通过广泛的实验和实证分析,我们深入理解了如傅里叶特征网络和Siren等隐式神经图像压缩方法,为未来的研究提供了宝贵的见解。
该研究解决了传统视频压缩方法中冗余特征和帧间关系学习困难的问题。通过提取帧的高频分量和相邻帧特征的差异,提出了一种新的视频表示方法。实验结果表明,该方法在90%的视频中优于现有HNeRV方法,展示了良好的压缩性能与一致性。