Aug, 2023

条件感知质量保持的图像压缩

PDF
TL;DR我们提出了条件感知质量，即在用户定义的信息上进行的感知质量扩展，并基于理论结果提出了条件感知质量保持压缩的最优框架。实验结果表明，我们的编解码器成功地在所有比特率下保持高感知质量和语义质量，并提供了所需的共同随机性的下界，解决了关于是否应将随机性纳入生成器中进行（条件）感知质量压缩的之前的争论。补充材料中提供了源代码。
发现论文，激发创造
  • 通过条件扩散解码器增强学习图像编解码器的速率失真感知灵活性

    通过使用条件扩散模型，本文展示了它作为解码器时在生成式压缩任务中的良好结果，同时通过采样方法，它们还允许在解码器端基于压缩表示创建新的失真和感知之间的权衡点。

    Mar, 2024

  • 带有条件生成器的多现实图像压缩

    通过优化失真、真实感和压缩率之间的平衡，生成式压缩方法可以在低比特率下产生详细，逼真的图像。本文提出了一种新方法，训练了一个解码器，能够在失真 - 真实感平衡中生成高质量的实际效果，创造了最新的 state-of-the-art 技术水平。

    Dec, 2022

  • 最优可控感知有损压缩

    本文基于最小均方误差（MSE）和构造的完美感知解码器之间的输出进行线性插值实现失真和感知质量之间的权衡，提出了两个理论优化的训练框架，并通过实验证明这些框架在实际感知解码中不仅具有理论上的优越性，而且还能产生最先进的性能。

    Jun, 2022

  • 重新思考无损压缩：速率 - 失真 - 感知之间的权衡

    通过采用 Blau & Michaeli 2018 年提出的感知质量的数学定义，研究了速率、失真和感知之间的三重权衡，我们证明了该三重权衡的几个基本属性，并在一个玩具 MNIST 例子上进行了可视化说明。

    Jan, 2019

  • 超低比特率下实现完美真实感的图像压缩

    通过使用迭代扩散模型进行解码，同时结合全局文本图像描述来提供额外的上下文，我们的模型在极低比特率下能够重建逼真的图像，其视觉质量不仅与以往方法相媲美，而且对比特率的依赖性更低。

    Oct, 2023

  • 探索压缩图像表示作为感知代理：一项研究

    我们提出了一种端到端学习的图像压缩编解码器，其中分析变换与目标分类任务同时训练。该研究证实，压缩的潜在表示能够以与定制的基于深度神经网络的质量指标相媲美的准确性预测人的感知距离判断。我们进一步研究了各种神经编码器，并展示了将分析变换作为超出质量判断之外的图像任务的感知损失网络的有效性。我们的实验表明，现成的神经编码器在感知建模方面表现出色，无需额外的 VGG 网络。我们期望这项研究能够成为开发语义感知和编码高效的神经编码器的有价值参考。

    Jan, 2024

  • 通过减轻压缩领域中的增强偏差提高压缩图像质量

    利用条件判别器和域分歧正则化构建双重策略来增强压缩图像质量，并解决增强偏差和感知质量降低的问题。

    Feb, 2024

  • 机器感知质量：评估严重有损压缩对音频和图像模型的影响

    神经数据压缩中，以机器为导向的压缩方式对于机器感知任务具有可行性，并且与深度相似度度量相关，在机器感知质量的发展中扮演重要角色。

    Jan, 2024

  • 灵活学习视频压缩的有条件编码

    本文提出了一种新的端到端学习的视频编码框架，将图像压缩通过条件编码进行泛化，允许处理同一编码器的帧内和帧间信息，并通过最小化速率失真成本进行训练，无需预训练或代理损失，其灵活性在三种编码配置下得到评估（全帧内、低延迟 P 和随机访问），并且表现出与 HEVC 视频编解码器一样具有竞争性的性能。

    Apr, 2021

  • 关于感知有损压缩：感知重构成本及最优训练框架

    该研究提出了一种全新的训练框架，使用生成对抗网络（GAN）和优化过的编码器来实现在完美感知质量下给定比特率的最低均方误差（MSE）畸变。

    Jun, 2021