Nov, 2021

基于时间上下文挖掘的学习视频压缩

PDF
TL;DR本文提出了一种端到端的学习视频压缩方法，利用多尺度时序上下文优化压缩方法，在压缩方案的编解码模块中填充学习到的时序上下文，以丢弃并行运算麻烦的自回归熵模型，实现更实用的解码时间，并将该方案与 H.264、H.265 以及 H.266 的官方参考软件进行比较，在 PSNR 和 MS-SSIM 方面均实现了比官方软件更高的比特率节省。
end-to-end learned video compressiontemporal context miningmulti-scale temporal contextscompression schemebit rate saving
发现论文，激发创造
  • 深度上下文视频压缩

    本文提出了一种基于深度上下文视频压缩框架的条件编码方案，通过特征域上下文作为条件来利用高维的上下文，从而在视频质量更高的情况下实现大幅度的比特率节省。

    Sep, 2021

  • 基于联合时空相关性探索的学习型视频压缩

    本文提出使用一阶光流和二阶流预测来利用时间相关性进行视频编码，采用一阶段学习方法将流作为连续帧的量化特征包装，然后利用联合空间 - 时间先验条件下的适应性上下文熵编码，并使用 ConvLSTM 逐层嵌入联合先验，分别从自回归空间邻居、共位置超元素和时间邻居中获取。本文的实验评估表明，该方法在常用的测试序列上取得了最先进的表现结果。

    Dec, 2019

  • 多尺度动作感知和时空通道上下文编码网络用于学习视频压缩

    提出一种基于运动感知、空时域通道上下文编码的视频压缩网络 (MASTC-VC)，该网络利用变分自编码器 (VAEs) 学习隐藏表示，捕捉帧内像素和帧间运动的特征，并通过多尺度运动感知模块 (MS-MAM) 和空时域通道上下文模块 (STCCM) 提高编码效率。在三个公共基准数据集上进行的综合实验表明，MASTC-VC 在 PSNR 度量上对 H.265/HEVC (HM-16.20) 平均 BD - 速率有 10.15％的节省，对 H.266/VVC (VTM-13.2) 平均 MS-SSIM 度量上有 23.93％的 BD - 速率节省。

    Oct, 2023

  • 基于空间分解和时间融合的基于学习的视频压缩的帧间预测

    本文提出了基于空间分解和时间融合的学习视频压缩的帧间预测方法，通过处理运动不一致性和遮挡现象，结合长短时时间上下文融合，提高了视频压缩的帧间预测准确性。实验证明，所提出的编码器在所有常见测试数据集上的 PSNR 和 MS-SSIM 上优于 H.266 / VVC 的参考软件。

    Jan, 2024

  • 多元背景神经视频压缩

    提出增强神经视频编解码器的上下文多样性，分别从时间和空间维度引入了层次质量模式、基于光流的编码框架以及四叉树分区以增加上下文多样性，实验结果表明，相比现有技术，该编解码器的比特率节省达到 23.5％，并在 PSNR 方面超越了传统编解码器 / ECM 的下一代。

    Feb, 2023

  • 利用多尺度运动补偿和时空上下文模型的神经视频编码

    本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿，同时采用自适应空时上下文模型进行高效熵编码，采用非局部注意力模块进行特征聚合和激活，通过对多模块的优化和多帧训练策略进行时间误差的最小化，最后将其与其他方法进行比较，证明了在流行的测试序列中，在 PSNR 和 MS-SSIM 失真度量方面均取得了一致的优异性能。

    Jul, 2020

  • SSNVC: 单流神经视频压缩与隐式时态信息

    本文介绍了一种新型的单流神经视频压缩（SSNVC）框架，通过删除复杂的运动矢量编码解码结构和使用一阶段训练策略，实现了去除特定模块、简化训练流程并提高重构帧质量的目标。实验证明，SSNVC 在多个基准测试中表现出具有最新技术性能，大大简化了压缩过程和训练过程。

    Jun, 2024

  • 基于时空变换器的视频压缩框架

    空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明，该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。

    Sep, 2023

  • 面向端到端优化的自适应熵模型图像压缩

    本文提出了一种上下文自适应熵模型，用于端到端优化的图像压缩。该模型利用两种上下文，即消耗位上下文和无需消耗位上下文，可更准确地估计每个潜在表示的分布，并提高了压缩性能。实验结果表明，该方法在 PSNR 和 MS-SSIM 指标上优于传统图像编解码器，如 BPG 和 JPEG2000，以及其他以人工神经网络为基础的方法。

    Sep, 2018

  • 学习型视频压缩

    我们提出了一种 ML-based 的视频编码算法，通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现，在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9，我们的算法通常产生更小的代码。并且，我们的方法不会出现图块失真和像素化，可以产生更加视觉上令人愉悦的视频。

    Nov, 2018