本文介绍了统计信息度量、多向贝叶斯假设检验、多类问题的损失函数和多分布 f - 分歧的统一视图,并阐述了这些对象之间的等价结果,为二元结果空间拓展已有结果,将 $f$- 分歧推广到多分布,提供了差异、统计信息(按 DeGroot 定义)和多类分类的损失之间的构造等价性。
Mar, 2016
本研究针对使用量化器降维的二元分类问题,从损失函数的角度提出了实现贝叶斯一致性的条件,扩展了 Ali-Silvey 函数和 surrogate loss 函数之间的对应关系。这一结果为选择在联合估计判别函数和量化器时实现贝叶斯一致性的 surrogate loss 函数提供了可能。
Oct, 2005
本文研究了信息分裂函数在统计学和信息理论中的作用,并提出了一种新的非参数 f 分裂测量方法,可以用于改进最小二分法分类错误的上限,并设计了特征选择算法以验证理论上的结果。
Dec, 2014
通过采用贝叶斯观点,将分类任务形式化为最大后验概率问题,并基于变分表示提取了基于 $f$-divergence 的五个后验概率估计器的目标函数类。此外,通过改进现有方法,提出了一种基于自适应 log 转换的新目标函数以及后验概率估计器。理论上证明了后验概率估计器的收敛性,并在玩具示例、图像数据集和信号检测 / 解码问题的三个应用场景中进行了数值测试,结果表明提出的估计器的有效性,而自适应 log 转换具有几乎所有场景中最高的分类准确性。
Jan, 2024
该研究系统研究了从凸性对偶的角度出发将 $f$-divergences 和 Integral Probability Metrics 两个家族联系在一起的关系,派生出一种广义的矩生成函数并在此基础上得出了许多针对 $f$-divergences 的新的下限。此外,研究还证明了衍生出的这种下限的不同拓扑性质。
Jun, 2020
本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式,其中包括函数占优方法、基于矩不等式和对数凸性属性的方法;在对相对信息性施加有界性假设的情况下,本文还阐述了各种界限,并特别关注了总变差距离及其与相对信息和相对熵的关系,包括 “reverse Pinsker 不等式”,以及广义化的总变差距离 Eγ 差异。
Aug, 2015
本文研究如何利用边缘分布和随机变量之间的依赖关系来估计概率事件的概率,并在自适应数据分析和学习理论中应用,其中包括 Sibson 的互信息、α- 散度、Hellinger 散度、f - 散度等多种方法,并将最大泄密量作为特例进行了研究。
Dec, 2019
本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题,提出了一种易于实现、适用于高维数据且收敛速度更快的估算器,并在合成和真实数据实验中验证了其行为。
May, 2019
本文提出了一种新颖的 min-max F-divergence 规则框架,通过两个可训练网络(分类器网络和偏差 / 公平估计器网络),使用统计概念中的 F-divergence 度量公平性,学习公平的分类模型,同时保持高准确率,可适用于多个敏感属性和高维数据集。该框架针对两种群体公平性限制进行 F-divergence 规则模式的研究,进行了一系列实验,结果显示该框架在准确性和公平性之间的平衡方面实现了最先进的性能。
Jun, 2023
本文提出了一种新颖的基于 $f$-divergence 变分表示的识别互信息估计器,并在基准情景下进行的实验表明,该方法在准确性和复杂性方面优于现有的神经估计器。
May, 2023