我们提出了一种将视频编码到神经网络中的新型神经表示方法(NeRV),可以提高视频编码和解码的效率并广泛地应用于视频压缩或去噪等任务。
Oct, 2021
通过将视频运动信息与颜色信号分离,利用降低视频信号的时空冗余性的方式,提出了一种用于表示和压缩视频的神经场结构,该模型具有更高的参数效率和更好的实验效果。
Jan, 2022
该研究提出了一种新的神经表示框架D-NeRV,旨在以更高效的方式对长时间或大量的不同内容的视频进行编码。使用这种方法,该方法的压缩结果大大超过了现有的NeRV和传统视频压缩技术,同时在相同的压缩率下,其在UCF101数据集上用作高效数据加载器时的准确度比NeRV提高了3至10%。
Mar, 2023
本文提出了一种名为HNeRV的混合神经表示,其中可学习的编码器生成内容自适应嵌入,其用作解码器输入。通过内容自适应嵌入和重新设计的架构,HNeRV在视频回归任务中的重构质量(+4.7 PSNR)和收敛速度(16倍)方面优于隐式方法,并展示了更好的内部泛化。作为一种简单高效的视频表示方法,HNeRV也与传统编解码器(H.264,H.265)和基于学习的压缩方法相比,具有更快的解码速度、更大的灵活性和更简单的部署,并且能够在视频压缩和视频修补等下游任务中发挥作用。
Apr, 2023
从函数拟合的角度分析了现有的隐式神经表征方法在处理具有大运动或动态场景时建模能力不足的问题,提出了基于帧间差异的DNeRV显式运动信息神经表征方法,用于视频压缩、修复和插帧等任务,并在$960 imes1920$的视频上得到了比现有隐式方法更好的效果。
本文介绍了一种基于HiNeRV的视频编解码器,该编解码器具有更高的容量和更好的性能,并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。
Jun, 2023
通过引入神经代表视频的NeRV++,作为NeRV解码器架构的一种增强改进方法,使用可分离卷积残差块(SCRBs)和双线性插值跳跃层等特性,大幅提高了INR-based视频编解码的效果和表示能力,实现了与自动编码器基于视频编码相竞争的结果,迈向了INR-based视频压缩研究的重大进展。
Feb, 2024
视频压缩技术是传输和存储视频的关键,通过模型压缩网络来表示和压缩视频的隐式神经表示优化重建帧质量的方法中,使用低分辨率帧作为残余连接来改进细节表示,实验结果表明我们的方法在49个视频中的46个超过了现有方法HNeRV的峰值信噪比。
Jun, 2024
本研究解决了视频隐式神经网络在缺乏语义信息下,无法支持后续任务的问题。通过提出一个灵活框架,将视频的时空特征解耦,利用学习到的每帧潜在特征与大型视觉模型对齐,从而实现压缩和视频检索的优异性能。最大的发现是,该方法不仅实现了高效压缩,还可用于视频插值等多种任务,开创了领域的新方向。
Aug, 2024
本研究针对当前隐式神经表示(INR)的视频压缩方法未能充分利用信息保存的潜力这一问题,提出了一种通过参数重用增强网络参数存储的创新方案。实验结果表明,该方案显著提升了INR视频压缩的率失真性能,具有重要的应用前景。
Oct, 2024