Feb, 2024

JPEG-AI 标准中空间质量图的位分布研究与实现

PDF
TL;DR当前，对基于神经网络的图像压缩编解码器有很高的需求。这些编解码器采用非线性变换创建紧凑的位表示，并通过在设备上实现快速编码速度，与经典框架中使用的手工设计变换相比，科研和工业界对这些特性非常感兴趣，推动了 JPEG-AI 的标准化工作。通过利用神经网络，该模型在基本运行点上超过传统编解码器的 10% BD 率，并通过在空间域中灵活分配位分布，与 VVC intra 的锚点生成恒定质量点的方式形成鲜明对比。然而，我们的研究发现，通过实现各种块尺寸，VVC intra 显示出更具适应性的位分布结构。由于我们的观察结果，我们提出了一种空间位分配方法来优化 JPEG-AI 的位分布并提高视觉质量。此外，通过应用 VVC 的位分布策略，可以进一步提高 JPEG-AI 的客观性能，使 PSNR-Y 获得最大增益 0.45 dB。
neural network-based image compression codecsjpeg-aivvc intrabit distributionspatial bit allocation
发现论文，激发创造
  • JPEG-AI 验证模型中的比特率匹配算法优化

    通过渐进式的算法优化，目前的 JPEG-AI 验证模型在匹配比特率时有了四倍的加速，基本操作点的 BD 率性能提高了 1%，在高操作点，加速增加至六倍。

    Feb, 2024

  • 利用平铺深度网络的空间自适应图像压缩

    用基于深度神经网络的质量敏感位速率自适应算法取代传统神经网络的定长空间位速率压缩算法，通过切块神经网络结构实现空间上下文预测，最终量化定量（PSNR）与定性（主观评估）评价得分优于其他基准模型。

    Feb, 2018

  • 变分贝叶斯量化

    我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式，该算法适用于深度概率模型，可以实现数据和模型压缩，并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷，实验证明了所提出的算法的有效性。

    Feb, 2020

  • 使用优化进行位分配

    本文提出了一种利用半分摊变分推理（SAVI）的位分配新范例，在神经视频压缩（NVC）中实现基于像素级比特分配的精确速率和质量依赖模型，实现了不需要经验模型并且具有最优性的自适应位分配方法。

    Sep, 2022

  • 端到端优化的图像压缩

    描述一种图像压缩方法，其由非线性分析变换、均匀量化器和非线性合成变换构成，并使用卷积线性滤波器和非线性激活函数的三个连续阶段构建变换，其中联合非线性性选择实现形式的局部增益控制，利用随机梯度下降的变体优化整个模型以实现训练图像数据库的速率失真性能，以及一个连续的代理来引入量化器产生的不连续损失函数，具有比标准 JPEG 和 JPEG2000 压缩方法更好的速率失真性能，并且在所有位率下对所有图像的视觉质量均有显著提高。

    Nov, 2016

  • 一种端到端的图像压缩和质量增强联合学习方案，带有改进的熵最小化

    本文提出了一种新的联合学习模式的图像压缩和质量增强方案 ——JointIQ-Net，通过采用高斯混合模型进行极小化熵模型改进，并进一步利用全局上下文估计潜在表示的概率，实现了编码效率的极大提升，达到了比传统编解码器和以往学习图像压缩方法更好的压缩效果。

    Dec, 2019

  • 适用于循环网络的引导和空间自适应比特速率的改进有损图像压缩

    本论文提出了一种基于循环卷积神经网络的有损图像压缩方法，通过像素权重损失、改进循环神经网络的结构以及自适应位分配算法，成功取得了多项实验成果优于 BPG、WebP、JPEG2000 和 JPEG 等标准方式。

    Mar, 2017

  • 基于压缩采样的 S-IQA 图像质量评估

    利用压缩采样的图像质量评估方法 (S-IQA) 提出了一个新的框架，其中包括灵活采样模块、自适应嵌入模块和双分支模块，通过这个方法在各种数据集上实现了最先进的结果。

    Apr, 2024

  • 通过分层感兴趣区域和自适应量化实现超高保真图像压缩

    通过结合 MSE-based 模型和生成模型中感兴趣区域 (ROI) 的优势，我们提出了分层感兴趣区域 (H-ROI) 方法，将图像分为几个前景区域和一个背景区域，以提高包含人脸、文字和复杂纹理的区域的重建效果；进一步，通过通道维度内的非线性映射提出了自适应量化来限制比特率同时保持视觉质量。大量实验证明了我们方法在小脸和文字上以更低的比特率实现了更好的视觉质量，如 HiFiC 的 0.7X 比特和 BPG 的 0.5X 比特。

    Mar, 2024

  • 基于视觉分析的图像编码速率失真模型

    该论文提出了一种面向视觉分析的率失真模型，基于机器学习算法的方法确定了每个编码单元的重要程度，并提出了一种新的失真度量模型以提高图像压缩的品质，从而在多个典型视觉分析任务中实现了高达 28.17% 的比特率节约。

    Apr, 2021