Jan, 2024

$f$- 分散基于分类：超越交叉熵的使用

PDF
TL;DR通过采用贝叶斯观点，将分类任务形式化为最大后验概率问题，并基于变分表示提取了基于 $f$-divergence 的五个后验概率估计器的目标函数类。此外，通过改进现有方法，提出了一种基于自适应 log 转换的新目标函数以及后验概率估计器。理论上证明了后验概率估计器的收敛性，并在玩具示例、图像数据集和信号检测 / 解码问题的三个应用场景中进行了数值测试，结果表明提出的估计器的有效性，而自适应 log 转换具有几乎所有场景中最高的分类准确性。
发现论文，激发创造
  • 多类别分类、信息、分歧和替代风险

    本文介绍了统计信息度量、多向贝叶斯假设检验、多类问题的损失函数和多分布 f - 分歧的统一视图，并阐述了这些对象之间的等价结果，为二元结果空间拓展已有结果，将 $f$- 分歧推广到多分布，提供了差异、统计信息（按 DeGroot 定义）和多类分类的损失之间的构造等价性。

    Mar, 2016

  • 关于替代损失函数和 f - 分布

    本研究针对使用量化器降维的二元分类问题，从损失函数的角度提出了实现贝叶斯一致性的条件，扩展了 Ali-Silvey 函数和 surrogate loss 函数之间的对应关系。这一结果为选择在联合估计判别函数和量化器时实现贝叶斯一致性的 surrogate loss 函数提供了可能。

    Oct, 2005

  • 变分 f 散度最小化

    该论文探讨了一种用于训练概率隐变量模型的变分方法，其中结合了最近引入的 Spread Divergence 方法，可以应用于使用任何 f-divergence 训练大量的潜变量模型。

    Jul, 2019

  • 二元实验的信息、离散度和风险

    本文通过系统地研究这些对象和它们的积分和变分表示，识别了它们的原语，将其与成本敏感的二进制分类联系起来，阐明了生成和判别视图之间的关系，提供了更紧密和更广泛的代理损失界限和广义 Pinsker 不等式，并提出了估计 f 散度的新技术。

    Jan, 2009

  • 基于新离散度测量的可经验估计分类界限

    本文研究了信息分裂函数在统计学和信息理论中的作用，并提出了一种新的非参数 f 分裂测量方法，可以用于改进最小二分法分类错误的上限，并设计了特征选择算法以验证理论上的结果。

    Dec, 2014

  • f - 散度估计的实用和一致性

    本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。

    May, 2019

  • 当优化 $f$- 散度对标签噪声具有鲁棒性时

    本文利用 $f$-divergence 的变分形式证明了其在标签噪声存在时具有良好的鲁棒性，并将其应用于噪声标签下的学习问题中，并提出了可能不具鲁棒性的解决方法，并通过实证研究证明了该方法的有效性。

    Nov, 2020

  • 基于变分 $f$- 散度和错排的判别式互信息估计

    本文提出了一种新颖的基于 $f$-divergence 变分表示的识别互信息估计器，并在基准情景下进行的实验表明，该方法在准确性和复杂性方面优于现有的神经估计器。

    May, 2023

  • 基于主动推理的判别神经网络分类器优化

    本文提出了一种基于概率推断的多类别分类方法，通过考虑样本验先概率和估计的后验概率寻找候选分类标签，并引入前景类别的先验知识来构建期望释能的优化目标函数，从而提高神经网络的泛化能力并降低对主导类别的分类偏差。

    Jun, 2023

  • 通过最小 - 最大 F - 散度正则化学习公平分类器

    本文提出了一种新颖的 min-max F-divergence 规则框架，通过两个可训练网络（分类器网络和偏差 / 公平估计器网络），使用统计概念中的 F-divergence 度量公平性，学习公平的分类模型，同时保持高准确率，可适用于多个敏感属性和高维数据集。该框架针对两种群体公平性限制进行 F-divergence 规则模式的研究，进行了一系列实验，结果显示该框架在准确性和公平性之间的平衡方面实现了最先进的性能。

    Jun, 2023