Oct, 2023

超低比特率下实现完美真实感的图像压缩

PDF
TL;DR通过使用迭代扩散模型进行解码，同时结合全局文本图像描述来提供额外的上下文，我们的模型在极低比特率下能够重建逼真的图像，其视觉质量不仅与以往方法相媲美，而且对比特率的依赖性更低。
image codecsperceptual compressioniterative diffusion modelsneural codecsbitrate
发现论文，激发创造
  • 实时自适应图像压缩

    本文提出了一种基于机器学习的图像有损压缩方法，运行实时且优于所有现有编解码器，其架构为自编码器，具备金字塔分析、自适应编码模块、期望码长的正则化等特点，并通过对抗训练以在极低比特率下提供视觉良好的重建效果。

    May, 2017

  • 通过条件扩散解码器增强学习图像编解码器的速率失真感知灵活性

    通过使用条件扩散模型，本文展示了它作为解码器时在生成式压缩任务中的良好结果，同时通过采样方法，它们还允许在解码器端基于压缩表示创建新的失真和感知之间的权衡点。

    Mar, 2024

  • 探索压缩图像表示作为感知代理：一项研究

    我们提出了一种端到端学习的图像压缩编解码器，其中分析变换与目标分类任务同时训练。该研究证实，压缩的潜在表示能够以与定制的基于深度神经网络的质量指标相媲美的准确性预测人的感知距离判断。我们进一步研究了各种神经编码器，并展示了将分析变换作为超出质量判断之外的图像任务的感知损失网络的有效性。我们的实验表明，现成的神经编码器在感知建模方面表现出色，无需额外的 VGG 网络。我们期望这项研究能够成为开发语义感知和编码高效的神经编码器的有价值参考。

    Jan, 2024

  • 预训练扩散模型的极致视频压缩

    使用扩散模型的预测能力，在解码器中将多个神经压缩帧转换为连续的视频帧，以实现极端视频压缩，同时考虑感知质量指标，从低比特率下的位每像素（bpp）为 0.02 开始实现视觉上令人满意的重构，结果表明该方案比 H.264 和 H.265 等标准编解码器在低比特率领域具有更好的效果。

    Feb, 2024

  • 通过端到端学习的深度图像压缩

    使用深度卷积神经网络的有损图像压缩方法，结合感知损失和对抗损失以及逐渐引入量化误差和速率约束的易到难迁移学习实现更好的速率 - 失真优化。在多个数据集中，相比于 BPG，WebP，JPEG2000 和 JPEG，平均达到了 7.81％ - 19.1％的 BD - 率降低。

    Jun, 2018

  • 高保真神经图像压缩的语义集成损失和潜在精炼

    该研究提出了一种改进的神经压缩方法，通过使用复杂的语义集成损失、潜在精细化过程和优化可视保真度的目标，显著提高了神经图像压缩的统计保真度，并在 CLIC2024 验证集上相较于 MS-ILLM 在 FID 指标下实现了 62% 的比特率节省。

    Jan, 2024

  • 基于潜在特征引导和扩散先验的极端图像压缩研究

    提出了一种新颖的极端图像压缩框架，该框架将压缩 VAEs 和预训练的文本到图像扩散模型结合在一起，通过潜在特征引导压缩模块进行图像压缩并解码为内容变量，然后利用预训练的扩散模型进一步解码这些内容变量，实验结果表明在极低比特率下，该方法在视觉表现和图像保真度方面优于现有方法。

    Apr, 2024

  • 挖掘微比特每像素下语义图像压缩的极限

    本研究使用 GPT-4V 和 DALL-E3 探索图像压缩的质量 - 压缩性能边界，并通过介绍迭代反射过程改善解码图像，将语义压缩推到 100 μbpp（比 JPEG 小了 10,000 倍）。进一步假设这个 100 μbpp 水平代表标准图像分辨率下语义压缩的一个软限制。

    Feb, 2024

  • 关于感知有损压缩：感知重构成本及最优训练框架

    该研究提出了一种全新的训练框架，使用生成对抗网络（GAN）和优化过的编码器来实现在完美感知质量下给定比特率的最低均方误差（MSE）畸变。

    Jun, 2021

  • 适用于循环网络的引导和空间自适应比特速率的改进有损图像压缩

    本论文提出了一种基于循环卷积神经网络的有损图像压缩方法，通过像素权重损失、改进循环神经网络的结构以及自适应位分配算法，成功取得了多项实验成果优于 BPG、WebP、JPEG2000 和 JPEG 等标准方式。

    Mar, 2017