将感知扭曲的权衡引入一般信息源的速率 - 失真理论
通过采用 Blau & Michaeli 2018 年提出的感知质量的数学定义,研究了速率、失真和感知之间的三重权衡,我们证明了该三重权衡的几个基本属性,并在一个玩具 MNIST 例子上进行了可视化说明。
Jan, 2019
对有限公共随机性的输出约束有损源编码进行失真率函数分析,讨论了均方误差度量的特殊情况,当源和重建分布均为高斯分布时,得到了显式表达式。这进一步揭示了以 Kullback-Leibler 散度或平方二次 Wasserstein 距离作为感知度量的二次高斯码率 - 失真 - 感知编码的信息论极限的部分特征。
Mar, 2024
在大块长度的渐进极限中,我们研究了无记忆源模型的速率失真感知(RDP)权衡。我们的感知度量基于基于编码器输出条件下的源和重构序列的分布之间的离散,这最初是在 [1],[2] 中提出的。我们考虑编码器和解码器之间没有共享随机性的情况。对于离散无记忆源的情况,我们导出了 RDP 函数的单字母特性,从而解决了在 Blau 和 Michaeli [3] 中引入的边际度量问题(无共享随机性)。我们的实现方案基于在 [4] 中提出的带后验参考映射的有损源编码。对于在平方误差失真度量和平方二次 Wasserstein 感知度量下的连续值源的情况,我们还导出了单字母特性,并表明在解码器中添加噪声机制足以实现最佳表示。对于零感知损失的情况,我们证明了我们的特征与在 [5],[6] 中推导的边际度量结果有趣地相吻合,并再次证明了可以在最小失真中以 3 dB 的惩罚实现零感知损失。最后,我们将结果特化到高斯源的情况。我们导出了矢量高斯源的 RDP 函数并提出了一种水填充类型的解决方案。我们还部分表征了混合矢量高斯源的 RDP 函数。
Jan, 2024
通过研究符号畸变和语义感知限制下的语义通信数据率,提出了可实现的区域,并证明了一种随机编码方案可以实现该区域。对于给定的畸变和感知限制,推导了二进制语义信息源的闭合可实现速率,并验证了理论观察的实验结果。
Dec, 2023
本文研究估计器的感知 - 失真权衡问题,导出了均方误差失真和 Wasserstein-2 感知指数下的失真 - 感知(DP) 函数的闭式表达式,证明了不论潜在分布如何,DP 函数总是二次的。我们还表明,这些估计器可以从感知质量卓越的 MSE 最小化器和感知质量优良的 MSE 最小化器两个极端处的估计器构建而来。
Jul, 2021
本文提出了一个信息理论框架,用于评估在参数化贝叶斯设置下训练分类器所需的标记样本数量,并使用 $L_p$ 距离导出分类器和真实后验概率分类器之间的平均距离的上下界,并利用 $ L_p $ 丢失作为畸变度量,以后验分布的微分熵和插值维度的数量为最大先验分类器提供了下界和上界,这表征了参数分布族的复杂性,同时提供了计算贝叶斯 $L_p$ 风险的下界,是可能近似正确(PAC)框架的补充,该框架提供了涉及 Vapnik-Chervonenkis 维度或 Rademacher 复杂性的最小极大风险界,而所提出的速率 - 失真框架则为数据分布平均的风险提供了下界。
May, 2016
本文引出自压缩领域和相关的理论问题,分析了通过实证数据来估计未知(并非必须是离散型的)信源的失真率 - 失真函数的问题。我们探讨了 “插件” 估计器的行为,给出了其一致性的充分条件,同时提供了某些情况下它失败的例子。针对一类广泛的信源,包括所有的平稳和符合渐进频率的信源,给出了 “插件” 估计器的一般一致性结果。最后,本文还提出了关于 “插件” 估计器的修正版本的一致性定理和最优重现分布估计的问题。
Feb, 2007
本文证明了图像修复算法中失真度 (Distortion) 和感知质量 (perceptual quality) 是对立的,并研究了正确判别图像修复算法输出与真实图像之间的最优概率,此概率需随均值失真程度的降低而逐渐增加,GAN 提供了超越感知失真界限的原则方法。作者提出了一种新的评估算法质量的方法,并使用该方法对最近的超分辨率算法进行了广泛比较。
Nov, 2017
本文介绍了一种信息理论模型,它使用一个有限传输速率的通信通道作为决策代理行为的描述,并在此基础上研究了一种基于学习目标的容量有限的决策制定方法, 为实现高效的学习算法提供了贝叶斯遗憾界的保证。
Oct, 2022