本文提出了一种通过建模帧之间的条件熵来进行视频压缩的方法,与以往的学习方法不同,我们假设每个帧都使用一个独立的先进深度图像压缩器进行编码。我们的方法在保证解码速度的前提下,在高比特率的 UVG 视频中优于 H.265 和其他深度学习基线,在低帧率下优于所有视频编解码器,同时比使用自回归熵模型的深度模型解码速度快数千倍。
Aug, 2020
本研究介绍了两种增强技术:通道调节和潜在残差预测,提出了比现有上下文自适应模型更好的网络架构,该模型在最小化串行处理、保持数据完整性等方面都性能更优,在 Kodak 和 Tecnick 图像集上的平均速率提高了 6.7% 和 11.4%。在低比特率下,本研究的模型可使速率提高 18%,比像 BPG 这样的手工工程编解码器提高 25%。
Jul, 2020
在交叉平台的视频压缩中,提出了一个基于码本的视频压缩框架,避免了自回归熵建模,并通过传输码本的索引序列来实现视频压缩,在不包含任何分布估计模块的情况下,兼顾了计算效率和跨平台性能。
Oct, 2023
我们提出了一种使用非各向同性扩散模型的图像压缩框架,该模型在解码器端引入了一种感知偏差,以生成高质量图像。此外,我们还使用了一种新颖的熵模型来准确建模潜在表示的概率分布,并利用潜在空间中的空间通道相关性来加速熵解码。实验证明,我们的框架在感知质量上优于现有的生成模型编解码器,并且所提出的熵模型能够实现显著的比特率节省。
Mar, 2024
本文提出了一种强大的熵模型,能够高效地捕捉视频中的空间和时间依赖关系,使用潜在先验来减少时间冗余,使用双重空间先验来并行地减少空间冗余。此外,该熵模型还具有内容自适应量化机制,有助于编解码器实现平滑的速率调整,并通过动态位分配改善最终的速率失真性能。实验结果表明,使用该熵模型作为支撑,与最高压缩比配置下的 H.266(VTM)相比,我们的神经编解码器可以在 UVG 数据集上实现 18.2% 的比特率节省,这是神经视频编解码器发展的新里程碑。
Jul, 2022
通过使用条件扩散模型,本文展示了它作为解码器时在生成式压缩任务中的良好结果,同时通过采样方法,它们还允许在解码器端基于压缩表示创建新的失真和感知之间的权衡点。
本文介绍了一种通过加入图像依赖的信息来提高基于人工神经网络的图像压缩方法的性能的方法,并在标准评估数据集上实现了 17.8%的速率降低和 70-98%的在视觉复杂性低的图像上的性能提升。
May, 2018
通过引入基于熵的损失项,我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示,在更少的维度上收敛于更好的测试指标,并在图像压缩和图像分类的实验中展示了其有效性。
Aug, 2023
本文提出了一种基于序列解码过程的因果上下文熵预测的概念,以捕捉图像压缩的全局相关性和跨通道关系,同时,采用新的独立注意力模块构建更强的转换网络,实验结果表明,该系统在 Kodak 数据集上的表现优于标准 VVC/H.266 编解码器,达到了最先进的码率失真性能。
Nov, 2020
我们提出了一种端到端可微分的带宽高效神经推理方法,通过神经数据压缩方法对激活进行压缩,可实现高达 19 倍的带宽减少和 6.21 倍的能量节省。
Sep, 2023