May, 2016

监督学习中贝叶斯风险的速率失真界限

PDF
TL;DR本文提出了一个信息理论框架，用于评估在参数化贝叶斯设置下训练分类器所需的标记样本数量，并使用 $L_p$ 距离导出分类器和真实后验概率分类器之间的平均距离的上下界，并利用 $ L_p $ 丢失作为畸变度量，以后验分布的微分熵和插值维度的数量为最大先验分类器提供了下界和上界，这表征了参数分布族的复杂性，同时提供了计算贝叶斯 $L_p$ 风险的下界，是可能近似正确（PAC）框架的补充，该框架提供了涉及 Vapnik-Chervonenkis 维度或 Rademacher 复杂性的最小极大风险界，而所提出的速率 - 失真框架则为数据分布平均的风险提供了下界。
information-theoretic frameworkparametric bayesian settingclassifier$l_p$ distancerate-distortion function
发现论文，激发创造
  • 贝叶斯学习中最小过剩风险的速率失真分析

    本文基于 (Xu＆Raginsky，2020) 近期的研究结果对贝叶斯学习中的最小过剩风险进行分析和推导其信息理论界限，并展示了它如何被两个更易于研究的率失真函数上下界限制所限制，最后论证这些边界的差异提供了关于 MER 的秩序紧密的率。

    May, 2021

  • 输出受限的失真压缩编码及其在率失真感知理论中的应用

    对有限公共随机性的输出约束有损源编码进行失真率函数分析，讨论了均方误差度量的特殊情况，当源和重建分布均为高斯分布时，得到了显式表达式。这进一步揭示了以 Kullback-Leibler 散度或平方二次 Wasserstein 距离作为感知度量的二次高斯码率 - 失真 - 感知编码的信息论极限的部分特征。

    Mar, 2024

  • 基于隐私 / 速率失真理论的鲁棒机器学习

    研究关于深度神经网络鲁棒性的相关问题，探讨了鲁棒最优学习与隐私 - 效用权衡问题之间的联系，发现得到鲁棒分类器和对抗干扰之间的鞍点需要解决最大条件熵问题，从信息论的角度揭示了鲁棒性和干净数据表现之间的基本权衡关系，最终源自基础数据分布和扰动的几何结构。

    Jul, 2020

  • 基于统一 PAC-Bayesian-Rademacher-Shtarkov-MDL 复杂度的紧致过量风险界

    提出了一种新的学习理论复杂性概念，它在经验风险最小化和贝叶斯估计器的情况下分别以数据无关的 Rademacher 复杂度和数据相关的信息复杂度进行上限绑定，并通过 Rademacher 复杂度将其与 $L_2 (P)$ 熵进行关联。该研究进一步使用 ' 易于理解 ' 和模型复杂性等相互分离的方法，提供适用于 VC 和多项式熵类的最优性差距上限。

    Oct, 2017

  • 信息密度和条件信息密度的泛化界

    通过指数不等式的方法，我们研究了随机学习算法的泛化误差的界限和概率分布，针对亚高斯损失函数提供了以训练数据和输出假设之间信息密度为依据的新的界限，并将该方法扩展到了基于随机选择训练数据子集的情况。

    May, 2020

  • 一般集合和度量的码率失真理论

    该论文探讨了一种适用于具有一般分布的随机变量序列的率失真理论，其中包括流形和分形集合，引入了一种下界和一种广泛适用的子规整条件。

    Apr, 2018

  • PAC-Bayes 分析超越平常的边界

    该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

    Jun, 2020

  • 信息论泛化界的统一框架

    文中提出了一种利用概率去相关引理、对测度空间中的的概率测度进行对称化、配对和链化等技术来获得学习算法信息论泛化界限的一般性方法，进而得到新的期望值和高概率条件下泛化误差的上界，特别地，还包括了基于互信息、条件互信息、随机链和 PAC-Bayes 不等式等现有泛化界限的特例。此外，Fernique-Talagrand 上界也是一个特例。

    May, 2023

  • 用 Wasserstein 梯度下降估计率失真函数

    基于 Wasserstein 梯度下降算法的新型 R-D 估计器，能够比现有神经网络方法更有效地在低速率源上获得可比或更严格的界限，同时需要较少的调整和计算工作。

    Oct, 2023

  • 速率失真函数估计

    本文引出自压缩领域和相关的理论问题，分析了通过实证数据来估计未知（并非必须是离散型的）信源的失真率 - 失真函数的问题。我们探讨了 “插件” 估计器的行为，给出了其一致性的充分条件，同时提供了某些情况下它失败的例子。针对一类广泛的信源，包括所有的平稳和符合渐进频率的信源，给出了 “插件” 估计器的一般一致性结果。最后，本文还提出了关于 “插件” 估计器的修正版本的一致性定理和最优重现分布估计的问题。

    Feb, 2007