神经视频表示压缩
本文从图像压缩的角度出发,探索了INRs的作用,提出了基于INRs的全面压缩流水线并进行了广泛的消融研究,结果表明,该方法表现优异,且与专门为图像设计的常用压缩算法竞争力相当,接近基于率失真自编码器的最新学习方法。
Dec, 2021
本文提出了一种基于树形结构的隐式神经网络压缩技术(TINC),利用多层感知机(MLPs)来适应局部区域,组织成树形结构来共享参数,以提高数据压缩效率并消除局部和非局部冗余。实验表明TINC在INR数据压缩方面具有很高的灵活性和可扩展性,并比商业工具和其他深度学习方法表现更好。
Nov, 2022
本文介绍了一种基于HiNeRV的视频编解码器,该编解码器具有更高的容量和更好的性能,并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。
Jun, 2023
首次将内隐神经表示(INR)应用于多视角视频,通过提出基于INR的MV-HiNeRV,它是一种新的增强型多视角视频编解码器,用于高效地表示和编码传统视频内容,并在MPEG Immersive Video(MIV)的测试中表现出卓越的性能。
Feb, 2024
通过特征调制,我们提出了一种强大的条件编码神经视频编解码器(NVC),解决了两个关键问题:如何在单一模型中支持宽范围的质量,并使NVC在长预测链下仍然有效。此外,我们设计了一个支持RGB和YUV颜色空间的单一模型。
Feb, 2024
通过引入神经代表视频的NeRV++,作为NeRV解码器架构的一种增强改进方法,使用可分离卷积残差块(SCRBs)和双线性插值跳跃层等特性,大幅提高了INR-based视频编解码的效果和表示能力,实现了与自动编码器基于视频编码相竞争的结果,迈向了INR-based视频压缩研究的重大进展。
Feb, 2024
通过引入具有自适应内容嵌入的混合神经表示视频(HNeRV)和一个新颖组件——VQ-NeRV块,我们提出了一个先进的U型架构,Vector Quantized-NeRV(VQ-NeRV),以在视频回归任务中提供卓越的重建质量、更好的比特率和改善的视频修复结果。
Mar, 2024
本研究针对现有视频编解码器在解码复杂性和系统延迟方面的问题,提出了一种新颖的基于隐式神经表示(INR)的视频编码框架PNVC。该框架通过多项设计创新显著提高了压缩性能,相较于HEVC HM 18.0,BD率节省超过35%,并且为1080p内容保持了20+ FPS的解码速度,为INR视频编码的实际应用奠定了基础。
Sep, 2024
本研究针对当前隐式神经表示(INR)的视频压缩方法未能充分利用信息保存的潜力这一问题,提出了一种通过参数重用增强网络参数存储的创新方案。实验结果表明,该方案显著提升了INR视频压缩的率失真性能,具有重要的应用前景。
Oct, 2024