基于神经压缩的特征学习用于视频修复
通过特征调制,我们提出了一种强大的条件编码神经视频编解码器(NVC),解决了两个关键问题:如何在单一模型中支持宽范围的质量,并使 NVC 在长预测链下仍然有效。此外,我们设计了一个支持 RGB 和 YUV 颜色空间的单一模型。
Feb, 2024
本研究提出一种基于卷积神经网络的端到端图像压缩框架,通过特征描述神经网络获取低维有效描述,借助标准图像编解码器进一步压缩图像后,再通过后处理神经网络消除失真和压缩留痕,最终通过虚拟编解码器神经网络通过反向传播优化整个系统。实验结果表明该方法在极低比特率下比当前现有算法性能更优。
Dec, 2017
本文提出了一种强大的熵模型,能够高效地捕捉视频中的空间和时间依赖关系,使用潜在先验来减少时间冗余,使用双重空间先验来并行地减少空间冗余。此外,该熵模型还具有内容自适应量化机制,有助于编解码器实现平滑的速率调整,并通过动态位分配改善最终的速率失真性能。实验结果表明,使用该熵模型作为支撑,与最高压缩比配置下的 H.266(VTM)相比,我们的神经编解码器可以在 UVG 数据集上实现 18.2% 的比特率节省,这是神经视频编解码器发展的新里程碑。
Jul, 2022
空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明,该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。
Sep, 2023
通过充分利用现有的深度神经网络容量,本研究提出了一种改进压缩的方法,通过引导潜在特征学习更丰富和多样化的特征来实现更好的重构效果,并将通道相关的特征去相关损失集成到优化过程中,实验证明该方法在两种传统压缩方法上提高了压缩性能,没有增加额外的复杂性,可以作为类似方法的即插即用的优化方案。
Mar, 2024
本文提出使用一阶光流和二阶流预测来利用时间相关性进行视频编码,采用一阶段学习方法将流作为连续帧的量化特征包装,然后利用联合空间 - 时间先验条件下的适应性上下文熵编码,并使用 ConvLSTM 逐层嵌入联合先验,分别从自回归空间邻居、共位置超元素和时间邻居中获取。本文的实验评估表明,该方法在常用的测试序列上取得了最先进的表现结果。
Dec, 2019
本文介绍了一种基于深度神经网络的视频压缩网络,通过对图像特征的残差进行压缩,结合模型集成和逐步训练的方式提高整个框架的训练效率,并在 CLIC 验证集上实现了 0.9968 MS-SSIM 和测试集上的 0.9967 MS-SSIM。
Apr, 2020
该研究旨在利用卷积神经网络及非局部冗余优化视频压缩,达到与预处理去噪 CNN 类似的编码增益,同时只需要约为 1% 的计算复杂度,适用于资源受限的条件下进行视频压缩。
Oct, 2019
本文提出了一种新的框架,利用视频压缩的低延迟配置和上下文自适应视频融合方法,提高 BasicVSR ++ 方法的质量,已在 NTIRE22 挑战中得到验证,并在定量指标和视觉质量方面与之前的方法相比均有所提高。
Feb, 2023