ECCVAug, 2020

用于高效视频压缩的条件熵编码

PDF
TL;DR本文提出了一种通过建模帧之间的条件熵来进行视频压缩的方法，与以往的学习方法不同，我们假设每个帧都使用一个独立的先进深度图像压缩器进行编码。我们的方法在保证解码速度的前提下，在高比特率的 UVG 视频中优于 H.265 和其他深度学习基线，在低帧率下优于所有视频编解码器，同时比使用自回归熵模型的深度模型解码速度快数千倍。
video compressionconditional entropydeep learning
发现论文，激发创造
  • 混合时空熵建模用于神经网络视频压缩

    本文提出了一种强大的熵模型，能够高效地捕捉视频中的空间和时间依赖关系，使用潜在先验来减少时间冗余，使用双重空间先验来并行地减少空间冗余。此外，该熵模型还具有内容自适应量化机制，有助于编解码器实现平滑的速率调整，并通过动态位分配改善最终的速率失真性能。实验结果表明，使用该熵模型作为支撑，与最高压缩比配置下的 H.266（VTM）相比，我们的神经编解码器可以在 UVG 数据集上实现 18.2% 的比特率节省，这是神经视频编解码器发展的新里程碑。

    Jul, 2022

  • 无与伦比的跨平台视频编解码器：基于码本的方法

    在交叉平台的视频压缩中，提出了一个基于码本的视频压缩框架，避免了自回归熵建模，并通过传输码本的索引序列来实现视频压缩，在不包含任何分布估计模块的情况下，兼顾了计算效率和跨平台性能。

    Oct, 2023

  • 灵活学习视频压缩的有条件编码

    本文提出了一种新的端到端学习的视频编码框架，将图像压缩通过条件编码进行泛化，允许处理同一编码器的帧内和帧间信息，并通过最小化速率失真成本进行训练，无需预训练或代理损失，其灵活性在三种编码配置下得到评估（全帧内、低延迟 P 和随机访问），并且表现出与 HEVC 视频编解码器一样具有竞争性的性能。

    Apr, 2021

  • 用于学习图像压缩的通道方向自回归熵模型

    本研究介绍了两种增强技术：通道调节和潜在残差预测，提出了比现有上下文自适应模型更好的网络架构，该模型在最小化串行处理、保持数据完整性等方面都性能更优，在 Kodak 和 Tecnick 图像集上的平均速率提高了 6.7% 和 11.4%。在低比特率下，本研究的模型可使速率提高 18%，比像 BPG 这样的手工工程编解码器提高 25%。

    Jul, 2020

  • 反馈循环自编码器视频压缩

    本研究提出了一种新的基于已有组件的网络结构用于快速学习视频压缩，针对现有方法的图形概率模型进行了分析并指出了实验评估中观察到的时间一致性和颜色偏移的问题，并提出了解决这些问题的方向。

    Apr, 2020

  • 多尺度和上下文自适应熵模型用于图像压缩

    本文提出了一种端到端可训练的图像压缩框架，采用自回归和分层先验的组合估计每个潜在表示的分布，并使用一种方法将比特率分配到每个图像以最大化 MS-SSIM。

    Oct, 2019

  • 潜移：熵梯度助力神经编码器

    通过利用解码设备上的熵梯度，本文展示了可以在各种压缩方法中使用该梯度来实现节省 1-2% 的比特率，该方法与其他改进方法相互独立。

    Aug, 2023

  • 基于因果关系的上下文预测学习图像压缩

    本文提出了一种基于序列解码过程的因果上下文熵预测的概念，以捕捉图像压缩的全局相关性和跨通道关系，同时，采用新的独立注意力模块构建更强的转换网络，实验结果表明，该系统在 Kodak 数据集上的表现优于标准 VVC/H.266 编解码器，达到了最先进的码率失真性能。

    Nov, 2020

  • 深度上下文视频压缩

    本文提出了一种基于深度上下文视频压缩框架的条件编码方案，通过特征域上下文作为条件来利用高维的上下文，从而在视频质量更高的情况下实现大幅度的比特率节省。

    Sep, 2021

  • 深度图像压缩的条件概率模型

    本研究提出了一种基于 3D-CNN 的条件概率模型方法，用于直接建模图像自动编码器隐层表示的熵，从而控制重构误差和信息熵之间的平衡关系，该方法在 MS-SSIM 能力测试中表现优异，成为一种最新的图像压缩系统。

    Jan, 2018