May, 2019

f - 散度估计的实用和一致性

PDF
TL;DR本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。
f-divergenceprobability distributionsmachine learningautoencoder architecturesestimator
发现论文，激发创造
  • 基于变分 $f$- 散度和错排的判别式互信息估计

    本文提出了一种新颖的基于 $f$-divergence 变分表示的识别互信息估计器，并在基准情景下进行的实验表明，该方法在准确性和复杂性方面优于现有的神经估计器。

    May, 2023

  • 通过限制概率测度实现 f - 分歧的更紧凑变分表示

    本文通过收紧文献中已使用的 f-divergences 变分表示方法，提出了更紧的表示方法。作为一个示例应用，我们使用更紧的表示法推导出一种基于两个独立同分布样本的通用的 f-divergence 估计器，并推导出该估计器的对偶程序，在实践中表现良好。我们还指出了该估计器与最大均值差异 (MMD) 之间的联系。

    Jun, 2012

  • 基于新离散度测量的可经验估计分类界限

    本文研究了信息分裂函数在统计学和信息理论中的作用，并提出了一种新的非参数 f 分裂测量方法，可以用于改进最小二分法分类错误的上限，并设计了特征选择算法以验证理论上的结果。

    Dec, 2014

  • 多类别分类、信息、分歧和替代风险

    本文介绍了统计信息度量、多向贝叶斯假设检验、多类问题的损失函数和多分布 f - 分歧的统一视图，并阐述了这些对象之间的等价结果，为二元结果空间拓展已有结果，将 $f$- 分歧推广到多分布，提供了差异、统计信息（按 DeGroot 定义）和多类分类的损失之间的构造等价性。

    Mar, 2016

  • $f$- 分散基于分类：超越交叉熵的使用

    通过采用贝叶斯观点，将分类任务形式化为最大后验概率问题，并基于变分表示提取了基于 $f$-divergence 的五个后验概率估计器的目标函数类。此外，通过改进现有方法，提出了一种基于自适应 log 转换的新目标函数以及后验概率估计器。理论上证明了后验概率估计器的收敛性，并在玩具示例、图像数据集和信号检测 / 解码问题的三个应用场景中进行了数值测试，结果表明提出的估计器的有效性，而自适应 log 转换具有几乎所有场景中最高的分类准确性。

    Jan, 2024

  • 二元实验的信息、离散度和风险

    本文通过系统地研究这些对象和它们的积分和变分表示，识别了它们的原语，将其与成本敏感的二进制分类联系起来，阐明了生成和判别视图之间的关系，提供了更紧密和更广泛的代理损失界限和广义 Pinsker 不等式，并提出了估计 f 散度的新技术。

    Jan, 2009

  • 稳健验证：即使分布发生偏移，也能自信地做出预测

    本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

    Aug, 2020

  • 基于 $f$- 散度和 $α$-Rényi 散度的鲁棒半监督学习

    研究了适用于半监督学习中自训练方法的一系列经验风险函数和正则化方法，这些方法受到各种差异度量的启示。通过对差异度量理论基础的启发，即差异度量和 Rényi 差异度量，我们还提供了有益的见解，以增强对我们的经验风险函数和正则化技术的理解。在伪标签和熵最小化技术中，作为有效半监督学习的自训练方法，自训练过程存在真实标签和伪标签之间的不匹配（噪声伪标签），我们的一些经验风险函数在处理噪声伪标签方面表现出稳健性。在一些条件下，与传统的自训练方法相比，我们的经验风险函数表现出更好的性能。

    May, 2024

  • 表示 Jensen-Shannon 分歧

    本论文提出了一种基于再生核希尔伯特空间中协方差符算子的新型分歧表示 Jensen-Shannon Divergence 的估计方法，该方法嵌入了数据分布到 RKSH，并利用其表示的符算子谱，该估计器对于小批量优化问题是灵活、可扩展且可微的，可以应用于二样本测试和生成对抗网络训练领域，并表现出优于现有技术的性能。

    May, 2023

  • 具有独立调节能力的 f - 散度变分推断

    本文提出了一类新的尾部自适应的 f 散度，可以用于变分推断中的 α 分布，且在有限矩状况下同时实现大量覆盖性，用于改进 SAC 算法等深度强化学习任务时相较于基于 KL 散度和 α 散度的现有方法表现更好。

    Oct, 2018