PNVC:面向实用的基于隐式神经表示的视频压缩
本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿,同时采用自适应空时上下文模型进行高效熵编码,采用非局部注意力模块进行特征聚合和激活,通过对多模块的优化和多帧训练策略进行时间误差的最小化,最后将其与其他方法进行比较,证明了在流行的测试序列中,在PSNR和MS-SSIM失真度量方面均取得了一致的优异性能。
Jul, 2020
本文介绍了一种基于HiNeRV的视频编解码器,该编解码器具有更高的容量和更好的性能,并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。
Jun, 2023
我们提出了一种利用分层B帧编码的NVC模型,并结合时间层自适应优化的方法,该模型在给定基线模型的基础上获得了印象深刻的BD速率提升,解决了处理复杂或大动态序列带来的挑战。
Aug, 2023
本研究提出了一种名为NN-VVC的混合编解码器,结合了E2E-learned图像编解码器和传统视频编解码器(CVC),在图像和视频编码领域为机器实现高性能。实验证明,该系统在多个数据集和机器视觉任务上较VVC实现了高达-43.20%和-26.8%的Bjøntegaard Delta速率减小。据我们所知,这是第一篇在多个数据集和多个机器视觉任务上展示了优于VVC的混合视频编解码器的研究论文。
Jan, 2024
首次将内隐神经表示(INR)应用于多视角视频,通过提出基于INR的MV-HiNeRV,它是一种新的增强型多视角视频编解码器,用于高效地表示和编码传统视频内容,并在MPEG Immersive Video(MIV)的测试中表现出卓越的性能。
Feb, 2024
通过特征调制,我们提出了一种强大的条件编码神经视频编解码器(NVC),解决了两个关键问题:如何在单一模型中支持宽范围的质量,并使NVC在长预测链下仍然有效。此外,我们设计了一个支持RGB和YUV颜色空间的单一模型。
Feb, 2024
通过引入神经代表视频的NeRV++,作为NeRV解码器架构的一种增强改进方法,使用可分离卷积残差块(SCRBs)和双线性插值跳跃层等特性,大幅提高了INR-based视频编解码的效果和表示能力,实现了与自动编码器基于视频编码相竞争的结果,迈向了INR-based视频压缩研究的重大进展。
Feb, 2024
在神经视频编码中,为解决复杂性和码率-失真性能之间的互相制衡问题,我们提出了一种新的框架,采用共同优化的神经预处理器和后处理器来封装标准视频编解码器,在不同分辨率下编码视频,并通过将分辨率的改变与神经封装的端到端优化相结合,实现了性能和解码复杂度的平衡。
Jul, 2024
本研究解决了隐式神经表示(INR)视频编码在与最新标准编解码器比较时的性能不足问题。提出的新框架“神经视频表示压缩”(NVRC)通过优化熵编码和量化模型,首次实现全端到端的视频编码,并在UVG数据集上相较于VVC VTM实现了24%的平均编码增益,展示出显著的性能提升潜力。
Sep, 2024
本研究针对当前隐式神经表示(INR)的视频压缩方法未能充分利用信息保存的潜力这一问题,提出了一种通过参数重用增强网络参数存储的创新方案。实验结果表明,该方案显著提升了INR视频压缩的率失真性能,具有重要的应用前景。
Oct, 2024