Mar, 2016

多类别分类、信息、分歧和替代风险

PDF
TL;DR本文介绍了统计信息度量、多向贝叶斯假设检验、多类问题的损失函数和多分布 f - 分歧的统一视图，并阐述了这些对象之间的等价结果，为二元结果空间拓展已有结果，将 $f$- 分歧推广到多分布，提供了差异、统计信息（按 DeGroot 定义）和多类分类的损失之间的构造等价性。
statistical information measuresmulti-way bayesian hypothesis testingloss functionsmulti-distribution f-divergencesmulticlass classification
发现论文，激发创造
  • 关于替代损失函数和 f - 分布

    本研究针对使用量化器降维的二元分类问题，从损失函数的角度提出了实现贝叶斯一致性的条件，扩展了 Ali-Silvey 函数和 surrogate loss 函数之间的对应关系。这一结果为选择在联合估计判别函数和量化器时实现贝叶斯一致性的 surrogate loss 函数提供了可能。

    Oct, 2005

  • 二元实验的信息、离散度和风险

    本文通过系统地研究这些对象和它们的积分和变分表示，识别了它们的原语，将其与成本敏感的二进制分类联系起来，阐明了生成和判别视图之间的关系，提供了更紧密和更广泛的代理损失界限和广义 Pinsker 不等式，并提出了估计 f 散度的新技术。

    Jan, 2009

  • $f$- 分散基于分类：超越交叉熵的使用

    通过采用贝叶斯观点，将分类任务形式化为最大后验概率问题，并基于变分表示提取了基于 $f$-divergence 的五个后验概率估计器的目标函数类。此外，通过改进现有方法，提出了一种基于自适应 log 转换的新目标函数以及后验概率估计器。理论上证明了后验概率估计器的收敛性，并在玩具示例、图像数据集和信号检测 / 解码问题的三个应用场景中进行了数值测试，结果表明提出的估计器的有效性，而自适应 log 转换具有几乎所有场景中最高的分类准确性。

    Jan, 2024

  • 基于新离散度测量的可经验估计分类界限

    本文研究了信息分裂函数在统计学和信息理论中的作用，并提出了一种新的非参数 f 分裂测量方法，可以用于改进最小二分法分类错误的上限，并设计了特征选择算法以验证理论上的结果。

    Dec, 2014

  • f - 散度估计的实用和一致性

    本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。

    May, 2019

  • 通过 Rényi、$f$-Divergences 和最大泄漏实现的广义误差界限

    本文研究如何利用边缘分布和随机变量之间的依赖关系来估计概率事件的概率，并在自适应数据分析和学习理论中应用，其中包括 Sibson 的互信息、α- 散度、Hellinger 散度、f - 散度等多种方法，并将最大泄密量作为特例进行了研究。

    Dec, 2019

  • 逆散度上的无偏估计方程及其条件

    本文研究了由互补函数定义的 Bregman 距离，即逆向距离。探讨了通过单调递增函数和逆向距离定义的损失函数下，使估计方程无偏的统计模型和函数 f 的条件。具体而言，我们通过逆高斯型和广义逆高斯型分布的混合模型表明，对于每个模型，函数 f 的条件是不同的。我们还将 Bregman 距离定义为逆向距离在多维情况下的线性求和，并将结果扩展到多维情况。

    Apr, 2024

  • $f$- 散度不等式

    本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

    Aug, 2015

  • 基于变分 $f$- 散度和错排的判别式互信息估计

    本文提出了一种新颖的基于 $f$-divergence 变分表示的识别互信息估计器，并在基准情景下进行的实验表明，该方法在准确性和复杂性方面优于现有的神经估计器。

    May, 2023

  • 当优化 $f$- 散度对标签噪声具有鲁棒性时

    本文利用 $f$-divergence 的变分形式证明了其在标签噪声存在时具有良好的鲁棒性，并将其应用于噪声标签下的学习问题中，并提出了可能不具鲁棒性的解决方法，并通过实证研究证明了该方法的有效性。

    Nov, 2020