Dec, 2019

通过 Rényi、$f$-Divergences 和最大泄漏实现的广义误差界限

PDF
TL;DR本文研究如何利用边缘分布和随机变量之间的依赖关系来估计概率事件的概率，并在自适应数据分析和学习理论中应用，其中包括 Sibson 的互信息、α- 散度、Hellinger 散度、f - 散度等多种方法，并将最大泄密量作为特例进行了研究。
joint distributiondependencemutual informationdivergencesgeneralization error
发现论文，激发创造
  • 信息论泛化界的统一框架

    文中提出了一种利用概率去相关引理、对测度空间中的的概率测度进行对称化、配对和链化等技术来获得学习算法信息论泛化界限的一般性方法，进而得到新的期望值和高概率条件下泛化误差的上界，特别地，还包括了基于互信息、条件互信息、随机链和 PAC-Bayes 不等式等现有泛化界限的特例。此外，Fernique-Talagrand 上界也是一个特例。

    May, 2023

  • $f$- 散度不等式

    本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

    Aug, 2015

  • 在 $f$- 散度和积分概率度量之间的最优界限

    该研究系统研究了从凸性对偶的角度出发将 $f$-divergences 和 Integral Probability Metrics 两个家族联系在一起的关系，派生出一种广义的矩生成函数并在此基础上得出了许多针对 $f$-divergences 的新的下限。此外，研究还证明了衍生出的这种下限的不同拓扑性质。

    Jun, 2020

  • 基于 Jensen-Shannon 散度的转移泛化差信息论界限

    本文介绍了一种基于信息理论的上限，以测量源和目标数据分布之间的差异，并将模型对每一个数据集样本的敏感性考虑在内。同时，对于加权风险最小化问题，提出了一种新的平均传输超额风险的上限。

    Oct, 2020

  • 信息密度和条件信息密度的泛化界

    通过指数不等式的方法，我们研究了随机学习算法的泛化误差的界限和概率分布，针对亚高斯损失函数提供了以训练数据和输出假设之间信息密度为依据的新的界限，并将该方法扩展到了基于随机选择训练数据子集的情况。

    May, 2020

  • 基于互信息的泛化误差界限的紧缩

    利用信息论推导出监督学习算法的泛化误差的信息熵上界，能够更全面地考虑损失函数的条件，并且在应用于嘈杂和迭代算法时能够给出比现有结果更紧密的泛化误差表征。

    Jan, 2019

  • 二元实验的信息、离散度和风险

    本文通过系统地研究这些对象和它们的积分和变分表示，识别了它们的原语，将其与成本敏感的二进制分类联系起来，阐明了生成和判别视图之间的关系，提供了更紧密和更广泛的代理损失界限和广义 Pinsker 不等式，并提出了估计 f 散度的新技术。

    Jan, 2009

  • 嘈杂迭代算法的泛化误差界

    本文证明了当损失函数为亚高斯函数时，基于互信息计算的以经验风险最小化为主要准则的监督机器学习算法对训练数据过拟合的泛化误差上界，此外还探究了噪声受限的迭代算法的泛化误差上界。

    Jan, 2018

  • Rényi 分布估计的广义指数集中不等式

    本文研究非参数统计学中估计分歧的问题，提出了一种 Renyi-alpha 分歧的估计算法，并给出了一个关于该算法的指数不等式一致收敛边界，并通过数值实验验证了该算法。

    Mar, 2016

  • 通过 Renyi 散度对风险敏感的函数进行鲁棒边界

    将指数积分和相对熵之间的对偶性推广到涉及 Renyi 离散度的指数积分的变分公式。该公式表征了由尾部行为决定的风险敏感功能和相关量的依赖于底层分布扰动的程度，以 Renyi 离散度为基础。作为应用，考虑当模型的某些方面未完全知道时的不确定性量化问题，以及使用它们来限定难以处理的模型的尾部特性。

    Oct, 2013