Mar, 2024

输出受限的失真压缩编码及其在率失真感知理论中的应用

PDF
TL;DR对有限公共随机性的输出约束有损源编码进行失真率函数分析，讨论了均方误差度量的特殊情况，当源和重建分布均为高斯分布时，得到了显式表达式。这进一步揭示了以 Kullback-Leibler 散度或平方二次 Wasserstein 距离作为感知度量的二次高斯码率 - 失真 - 感知编码的信息论极限的部分特征。
output-constrained lossy source codingcommon randomnesssquared error distortion measurequadratic gaussian rate-distortion-perception codingkullback-leibler divergence
发现论文，激发创造
  • 重新思考无损压缩：速率 - 失真 - 感知之间的权衡

    通过采用 Blau & Michaeli 2018 年提出的感知质量的数学定义，研究了速率、失真和感知之间的三重权衡，我们证明了该三重权衡的几个基本属性，并在一个玩具 MNIST 例子上进行了可视化说明。

    Jan, 2019

  • 基于条件分布感知度量的速率 - 失真 - 感知折衷

    在大块长度的渐进极限中，我们研究了无记忆源模型的速率失真感知（RDP）权衡。我们的感知度量基于基于编码器输出条件下的源和重构序列的分布之间的离散，这最初是在 [1]，[2] 中提出的。我们考虑编码器和解码器之间没有共享随机性的情况。对于离散无记忆源的情况，我们导出了 RDP 函数的单字母特性，从而解决了在 Blau 和 Michaeli [3] 中引入的边际度量问题（无共享随机性）。我们的实现方案基于在 [4] 中提出的带后验参考映射的有损源编码。对于在平方误差失真度量和平方二次 Wasserstein 感知度量下的连续值源的情况，我们还导出了单字母特性，并表明在解码器中添加噪声机制足以实现最佳表示。对于零感知损失的情况，我们证明了我们的特征与在 [5]，[6] 中推导的边际度量结果有趣地相吻合，并再次证明了可以在最小失真中以 3 dB 的惩罚实现零感知损失。最后，我们将结果特化到高斯源的情况。我们导出了矢量高斯源的 RDP 函数并提出了一种水填充类型的解决方案。我们还部分表征了混合矢量高斯源的 RDP 函数。

    Jan, 2024

  • 基于熵的失真测量的多终端源编码

    本文通过特定的、基于熵的失真度量，研究了一类多终端源编码问题，并提供了两种情形下的可行码率失真区域，同时证明了我们的特定失真度量和（1）经典的 Slepian-Wolf 无损分布式源编码网络以及（2）仅恢复一个源的 Ahlswede-Körner-Wyner 编码中的源编码与辅助信息问题之间存在关系。

    May, 2011

  • 有限块长区间内的定长有损压缩

    研究了源编码率和概率与块长度的关系，推导出任意固定块长度下的紧致通用可达性和对话边界，对于具备可分离失真度的平稳无记忆源，最小可达速率接近于率失真函数加上速率分散。

    Feb, 2011

  • 将感知扭曲的权衡引入一般信息源的速率 - 失真理论

    本文介绍了 Blau 和 Michaeli 最近引入的一个新概念，在信息理论中，将他们的 tradeoff 引入到有损源编码的速率失真理论中，并阐明了对于普遍信息源的信息速率、失真和感知之间的权衡。

    Aug, 2018

  • 高斯速率 - 失真 - 感知函数的计算

    本文研究了多元高斯源在均方误差畸变和分别为 Kullback-Leibler 散度、几何 Jensen-Shannon 散度、平方 Hellinger 距离和平方 Wasserstein-2 距离感知度量下的率失真感知函数（RDPF）的计算。

    Nov, 2023

  • 有损联合源信道编码在有限块长制度下

    本文发现了最佳可达失真联合源信道码率的新的严格有限块长度界限，并证明联合源信道码设计在非渐近区域中带来了相当大的性能优势。

    Sep, 2012

  • 一种速率 - 失真 - 感知函数的编码定理

    该论文研究了采用随机变长编码实现率 - 失真 - 感知函数，进一步探究该理论在失真压缩方面的应用。

    Apr, 2021

  • 用 Wasserstein 梯度下降估计率失真函数

    基于 Wasserstein 梯度下降算法的新型 R-D 估计器，能够比现有神经网络方法更有效地在低速率源上获得可比或更严格的界限，同时需要较少的调整和计算工作。

    Oct, 2023

  • 监督学习中贝叶斯风险的速率失真界限

    本文提出了一个信息理论框架，用于评估在参数化贝叶斯设置下训练分类器所需的标记样本数量，并使用 $L_p$ 距离导出分类器和真实后验概率分类器之间的平均距离的上下界，并利用 $ L_p $ 丢失作为畸变度量，以后验分布的微分熵和插值维度的数量为最大先验分类器提供了下界和上界，这表征了参数分布族的复杂性，同时提供了计算贝叶斯 $L_p$ 风险的下界，是可能近似正确（PAC）框架的补充，该框架提供了涉及 Vapnik-Chervonenkis 维度或 Rademacher 复杂性的最小极大风险界，而所提出的速率 - 失真框架则为数据分布平均的风险提供了下界。

    May, 2016