该研究提出了一种全新的训练框架,使用生成对抗网络(GAN)和优化过的编码器来实现在完美感知质量下给定比特率的最低均方误差(MSE)畸变。
Jun, 2021
通过采用 Blau & Michaeli 2018 年提出的感知质量的数学定义,研究了速率、失真和感知之间的三重权衡,我们证明了该三重权衡的几个基本属性,并在一个玩具 MNIST 例子上进行了可视化说明。
Jan, 2019
通过使用条件扩散模型,本文展示了它作为解码器时在生成式压缩任务中的良好结果,同时通过采样方法,它们还允许在解码器端基于压缩表示创建新的失真和感知之间的权衡点。
Mar, 2024
通过使用迭代扩散模型进行解码,同时结合全局文本图像描述来提供额外的上下文,我们的模型在极低比特率下能够重建逼真的图像,其视觉质量不仅与以往方法相媲美,而且对比特率的依赖性更低。
Oct, 2023
本文介绍了一种通用的框架,用于端到端优化非线性变换编码的速率失真性能,可以使用任何可微分的分析和综合变换与任何可微分的感知度量相结合,例如使用多维本地增益控制构建的线性变换后的编码,通过现代感知度量对失真进行测量以优化大型图像数据库上的编码,相较于固定的(DCT)编码以及为均方误差而优化的线性变换编码,该表示提供了显着的比特率和感知外观的改进。
Jul, 2016
本文研究估计器的感知 - 失真权衡问题,导出了均方误差失真和 Wasserstein-2 感知指数下的失真 - 感知(DP) 函数的闭式表达式,证明了不论潜在分布如何,DP 函数总是二次的。我们还表明,这些估计器可以从感知质量卓越的 MSE 最小化器和感知质量优良的 MSE 最小化器两个极端处的估计器构建而来。
Jul, 2021
对有限公共随机性的输出约束有损源编码进行失真率函数分析,讨论了均方误差度量的特殊情况,当源和重建分布均为高斯分布时,得到了显式表达式。这进一步揭示了以 Kullback-Leibler 散度或平方二次 Wasserstein 距离作为感知度量的二次高斯码率 - 失真 - 感知编码的信息论极限的部分特征。
我们提出了条件感知质量,即在用户定义的信息上进行的感知质量扩展,并基于理论结果提出了条件感知质量保持压缩的最优框架。实验结果表明,我们的编解码器成功地在所有比特率下保持高感知质量和语义质量,并提供了所需的共同随机性的下界,解决了关于是否应将随机性纳入生成器中进行(条件)感知质量压缩的之前的争论。补充材料中提供了源代码。
Aug, 2023
该论文研究了采用随机变长编码实现率 - 失真 - 感知函数,进一步探究该理论在失真压缩方面的应用。
Apr, 2021
神经数据压缩中,以机器为导向的压缩方式对于机器感知任务具有可行性,并且与深度相似度度量相关,在机器感知质量的发展中扮演重要角色。
Jan, 2024