多元背景神经视频压缩
本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿,同时采用自适应空时上下文模型进行高效熵编码,采用非局部注意力模块进行特征聚合和激活,通过对多模块的优化和多帧训练策略进行时间误差的最小化,最后将其与其他方法进行比较,证明了在流行的测试序列中,在 PSNR 和 MS-SSIM 失真度量方面均取得了一致的优异性能。
Jul, 2020
通过特征调制,我们提出了一种强大的条件编码神经视频编解码器(NVC),解决了两个关键问题:如何在单一模型中支持宽范围的质量,并使 NVC 在长预测链下仍然有效。此外,我们设计了一个支持 RGB 和 YUV 颜色空间的单一模型。
Feb, 2024
本文介绍了一种新型的单流神经视频压缩(SSNVC)框架,通过删除复杂的运动矢量编码解码结构和使用一阶段训练策略,实现了去除特定模块、简化训练流程并提高重构帧质量的目标。实验证明,SSNVC 在多个基准测试中表现出具有最新技术性能,大大简化了压缩过程和训练过程。
Jun, 2024
我们提出了一种利用分层 B 帧编码的 NVC 模型,并结合时间层自适应优化的方法,该模型在给定基线模型的基础上获得了印象深刻的 BD 速率提升,解决了处理复杂或大动态序列带来的挑战。
Aug, 2023
本文提出了一种端到端的学习视频压缩方法,利用多尺度时序上下文优化压缩方法,在压缩方案的编解码模块中填充学习到的时序上下文,以丢弃并行运算麻烦的自回归熵模型,实现更实用的解码时间,并将该方案与 H.264、H.265 以及 H.266 的官方参考软件进行比较,在 PSNR 和 MS-SSIM 方面均实现了比官方软件更高的比特率节省。
Nov, 2021
提出一种基于运动感知、空时域通道上下文编码的视频压缩网络 (MASTC-VC),该网络利用变分自编码器 (VAEs) 学习隐藏表示,捕捉帧内像素和帧间运动的特征,并通过多尺度运动感知模块 (MS-MAM) 和空时域通道上下文模块 (STCCM) 提高编码效率。在三个公共基准数据集上进行的综合实验表明,MASTC-VC 在 PSNR 度量上对 H.265/HEVC (HM-16.20) 平均 BD - 速率有 10.15%的节省,对 H.266/VVC (VTM-13.2) 平均 MS-SSIM 度量上有 23.93%的 BD - 速率节省。
Oct, 2023
本篇论文提出一种噪声鲁棒特征表示的神经模型,其采用了一种空间通道量化机制来自适应地确定潜在位置的量化步长,以在视频恢复中过滤噪声并保留精华信息,实验表明,该方法在视频去噪方面具有显著的性能提升,且在视频去雨和去雾方面也取得了 SOTA 的结果。
Mar, 2022
本研究提出了一种名为 NN-VVC 的混合编解码器,结合了 E2E-learned 图像编解码器和传统视频编解码器 (CVC),在图像和视频编码领域为机器实现高性能。实验证明,该系统在多个数据集和机器视觉任务上较 VVC 实现了高达 - 43.20% 和 - 26.8% 的 Bjøntegaard Delta 速率减小。据我们所知,这是第一篇在多个数据集和多个机器视觉任务上展示了优于 VVC 的混合视频编解码器的研究论文。
Jan, 2024
本文提出了一种新的框架,利用视频压缩的低延迟配置和上下文自适应视频融合方法,提高 BasicVSR ++ 方法的质量,已在 NTIRE22 挑战中得到验证,并在定量指标和视觉质量方面与之前的方法相比均有所提高。
Feb, 2023