SSNVC: 单流神经视频压缩与隐式时态信息
本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿,同时采用自适应空时上下文模型进行高效熵编码,采用非局部注意力模块进行特征聚合和激活,通过对多模块的优化和多帧训练策略进行时间误差的最小化,最后将其与其他方法进行比较,证明了在流行的测试序列中,在 PSNR 和 MS-SSIM 失真度量方面均取得了一致的优异性能。
Jul, 2020
通过特征调制,我们提出了一种强大的条件编码神经视频编解码器(NVC),解决了两个关键问题:如何在单一模型中支持宽范围的质量,并使 NVC 在长预测链下仍然有效。此外,我们设计了一个支持 RGB 和 YUV 颜色空间的单一模型。
Feb, 2024
我们提出了一种利用分层 B 帧编码的 NVC 模型,并结合时间层自适应优化的方法,该模型在给定基线模型的基础上获得了印象深刻的 BD 速率提升,解决了处理复杂或大动态序列带来的挑战。
Aug, 2023
提出增强神经视频编解码器的上下文多样性,分别从时间和空间维度引入了层次质量模式、基于光流的编码框架以及四叉树分区以增加上下文多样性,实验结果表明,相比现有技术,该编解码器的比特率节省达到 23.5%,并在 PSNR 方面超越了传统编解码器 / ECM 的下一代。
Feb, 2023
提出一种基于运动感知、空时域通道上下文编码的视频压缩网络 (MASTC-VC),该网络利用变分自编码器 (VAEs) 学习隐藏表示,捕捉帧内像素和帧间运动的特征,并通过多尺度运动感知模块 (MS-MAM) 和空时域通道上下文模块 (STCCM) 提高编码效率。在三个公共基准数据集上进行的综合实验表明,MASTC-VC 在 PSNR 度量上对 H.265/HEVC (HM-16.20) 平均 BD - 速率有 10.15%的节省,对 H.266/VVC (VTM-13.2) 平均 MS-SSIM 度量上有 23.93%的 BD - 速率节省。
Oct, 2023
空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明,该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。
Sep, 2023
本文提出了一种基于深度学习模型的视频压缩方法,其中利用神经网络的非线性表征能力和学习基于光流估计获取运动信息并重构当前帧的方法,同时采用两个 auto-encoder 风格的神经网络来压缩相应的运动和残差信息以共同优化所有组件,并通过单一损失函数来一起考虑减少压缩比特数和提高解码视频质量之间的权衡,实验证明该方法在 PSNR 方面优于广泛使用的 H.264 视频编码标准,在 MS-SSIM 方面甚至与最新的标准 H.265 相当。
Nov, 2018
本文提出了 AlphaVC 的压缩算法,采用了几种新的技术来有效地提高压缩性能,包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。AlphaVC 在所有常见测试数据集上的 PSNR 和 MSSSIM 指标上均超过了最新的压缩标准 VVC,并且具有非常快的编码和解码速度。
Jul, 2022
本文提出了一种端到端的学习视频压缩方法,利用多尺度时序上下文优化压缩方法,在压缩方案的编解码模块中填充学习到的时序上下文,以丢弃并行运算麻烦的自回归熵模型,实现更实用的解码时间,并将该方案与 H.264、H.265 以及 H.266 的官方参考软件进行比较,在 PSNR 和 MS-SSIM 方面均实现了比官方软件更高的比特率节省。
Nov, 2021
该研究提出了一种端到端的学习视频压缩方案,使用多个参考帧来提高数据压缩效率,其中包括运动向量 (MV) 场的计算、残差和 MV 的深度自编码压缩,以及一个利用多个参考帧的 MV 细化网络和残差细化网络。
Apr, 2020