MMApr, 2015

Shannon 下界是渐近紧密的

PDF
TL;DR本文研究了 Shannon 下界与速率失真函数之间的关系，证明在所有有限差分熵和整数部分的源情况下，随着允许失真趋近于零，Shannon 下界与速率失真函数之间的差距趋近于零；反之，如果源的整数部分具有无限的熵，则其速率失真函数对于每个有限失真都是无限的。因此，Shannon 下界提供了关于速率失真函数的渐近紧密界限，如果源的整数部分具有有限熵，那么它只能提供渐近紧密的界。
shannon lower boundrate-distortion functiondifferential entropyfinite entropyasymptotically tight bound
发现论文，激发创造
  • 有限块长区间内的定长有损压缩

    研究了源编码率和概率与块长度的关系，推导出任意固定块长度下的紧致通用可达性和对话边界，对于具备可分离失真度的平稳无记忆源，最小可达速率接近于率失真函数加上速率分散。

    Feb, 2011

  • 输出受限的失真压缩编码及其在率失真感知理论中的应用

    对有限公共随机性的输出约束有损源编码进行失真率函数分析，讨论了均方误差度量的特殊情况，当源和重建分布均为高斯分布时，得到了显式表达式。这进一步揭示了以 Kullback-Leibler 散度或平方二次 Wasserstein 距离作为感知度量的二次高斯码率 - 失真 - 感知编码的信息论极限的部分特征。

    Mar, 2024

  • 基于熵的失真测量的多终端源编码

    本文通过特定的、基于熵的失真度量，研究了一类多终端源编码问题，并提供了两种情形下的可行码率失真区域，同时证明了我们的特定失真度量和（1）经典的 Slepian-Wolf 无损分布式源编码网络以及（2）仅恢复一个源的 Ahlswede-Körner-Wyner 编码中的源编码与辅助信息问题之间存在关系。

    May, 2011

  • 监督学习中贝叶斯风险的速率失真界限

    本文提出了一个信息理论框架，用于评估在参数化贝叶斯设置下训练分类器所需的标记样本数量，并使用 $L_p$ 距离导出分类器和真实后验概率分类器之间的平均距离的上下界，并利用 $ L_p $ 丢失作为畸变度量，以后验分布的微分熵和插值维度的数量为最大先验分类器提供了下界和上界，这表征了参数分布族的复杂性，同时提供了计算贝叶斯 $L_p$ 风险的下界，是可能近似正确（PAC）框架的补充，该框架提供了涉及 Vapnik-Chervonenkis 维度或 Rademacher 复杂性的最小极大风险界，而所提出的速率 - 失真框架则为数据分布平均的风险提供了下界。

    May, 2016

  • 一般集合和度量的码率失真理论

    该论文探讨了一种适用于具有一般分布的随机变量序列的率失真理论，其中包括流形和分形集合，引入了一种下界和一种广泛适用的子规整条件。

    Apr, 2018

  • 基于经验的三明治上下界率失真函数

    通过一种新的算法，本文提出了第一个普遍数据源（不一定是离散数据）的 R-D 函数的夹逼界算法，并在多个数据源上估计了 R-D 夹逼界，说明了神经数据压缩的优越性，并发现了改进图像压缩方法的潜在空间。

    Nov, 2021

  • 有损联合源信道编码在有限块长制度下

    本文发现了最佳可达失真联合源信道码率的新的严格有限块长度界限，并证明联合源信道码设计在非渐近区域中带来了相当大的性能优势。

    Sep, 2012

  • 多输入多输出块衰落信道联合源信号编码与信道编码

    本论文探讨仅在接收端有可用信息时，在 L-block Rayleigh fading MIMO 信道上传输连续幅度源时的最优性能和期望端到端失真的最小化，通过分层源编码与渐进、叠加或混合数字 / 模拟传输消除带宽比率干扰，并结合多个自由度的信道对失真指数进行分析与优化。

    Nov, 2007

  • 重新思考无损压缩：速率 - 失真 - 感知之间的权衡

    通过采用 Blau & Michaeli 2018 年提出的感知质量的数学定义，研究了速率、失真和感知之间的三重权衡，我们证明了该三重权衡的几个基本属性，并在一个玩具 MNIST 例子上进行了可视化说明。

    Jan, 2019

  • 联合分布的信息不等式：解释与应用

    通过子集联合熵的任意集合，得到一组随机变量的联合熵的上下界，同时展现了这些不等式对拟模函数的一般新结果的特殊情况，进而得到解决组合学问题、矩阵理论、相对熵等方面的新不等式。

    Dec, 2008