基于残差连接的视频隐式神经表示
该研究提出了一种基于神经网络的方法以实现视频压缩,通过隐式的神经网络表示每一帧的像素点来实现基于运动补偿的压缩,并利用学习的整数量化降低比特率。此方法称为隐式像素流(IPF)。
Dec, 2021
通过将视频运动信息与颜色信号分离,利用降低视频信号的时空冗余性的方式,提出了一种用于表示和压缩视频的神经场结构,该模型具有更高的参数效率和更好的实验效果。
Jan, 2022
本研究提出了Video Implicit Neural Representation (VideoINR)的框架,支持任意空间分辨率和帧率的STVSR,相比之前的方法在超出训练分布范围的数据上表现出更好的性能,这对提高视频质量有着很大的实际意义。
Jun, 2022
本文提出了一种名为HNeRV的混合神经表示,其中可学习的编码器生成内容自适应嵌入,其用作解码器输入。通过内容自适应嵌入和重新设计的架构,HNeRV在视频回归任务中的重构质量(+4.7 PSNR)和收敛速度(16倍)方面优于隐式方法,并展示了更好的内部泛化。作为一种简单高效的视频表示方法,HNeRV也与传统编解码器(H.264,H.265)和基于学习的压缩方法相比,具有更快的解码速度、更大的灵活性和更简单的部署,并且能够在视频压缩和视频修补等下游任务中发挥作用。
Apr, 2023
本文介绍了一种基于HiNeRV的视频编解码器,该编解码器具有更高的容量和更好的性能,并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。
Jun, 2023
通过隐式-显式混合编码和多层特征网格嵌入,我们提出了一种用于多视点视频压缩的方法,实验证明该方法在视点压缩和场景建模方面取得了与最新的多视点视频压缩标准MIV和其他基于隐式神经表示的方案相当甚至更好的性能。
Nov, 2023
通过引入神经代表视频的NeRV++,作为NeRV解码器架构的一种增强改进方法,使用可分离卷积残差块(SCRBs)和双线性插值跳跃层等特性,大幅提高了INR-based视频编解码的效果和表示能力,实现了与自动编码器基于视频编码相竞争的结果,迈向了INR-based视频压缩研究的重大进展。
Feb, 2024
该研究解决了传统视频压缩方法中冗余特征和帧间关系学习困难的问题。通过提取帧的高频分量和相邻帧特征的差异,提出了一种新的视频表示方法。实验结果表明,该方法在90%的视频中优于现有HNeRV方法,展示了良好的压缩性能与一致性。
Sep, 2024
本研究针对当前隐式神经表示(INR)的视频压缩方法未能充分利用信息保存的潜力这一问题,提出了一种通过参数重用增强网络参数存储的创新方案。实验结果表明,该方案显著提升了INR视频压缩的率失真性能,具有重要的应用前景。
Oct, 2024