Apr, 2024

逆散度上的无偏估计方程及其条件

PDF
TL;DR本文研究了由互补函数定义的 Bregman 距离，即逆向距离。探讨了通过单调递增函数和逆向距离定义的损失函数下，使估计方程无偏的统计模型和函数 f 的条件。具体而言，我们通过逆高斯型和广义逆高斯型分布的混合模型表明，对于每个模型，函数 f 的条件是不同的。我们还将 Bregman 距离定义为逆向距离在多维情况下的线性求和，并将结果扩展到多维情况。
bregman divergenceinverse divergenceloss functionestimating equationstatistical models
发现论文，激发创造
  • Bregman 散度作为估计非归一化统计模型的通用框架

    该研究论文阐述了 Bregman 散度能够提供精确估计不满足归一化条件的连续或离散随机变量的统计模型，并证明了噪声对比估计、比率匹配和分数匹配等最近的估计方法属于该方法，最后探讨了提升在无监督学习中的作用。

    Feb, 2012

  • 多类别分类、信息、分歧和替代风险

    本文介绍了统计信息度量、多向贝叶斯假设检验、多类问题的损失函数和多分布 f - 分歧的统一视图，并阐述了这些对象之间的等价结果，为二元结果空间拓展已有结果，将 $f$- 分歧推广到多分布，提供了差异、统计信息（按 DeGroot 定义）和多类分类的损失之间的构造等价性。

    Mar, 2016

  • $f$- 散度不等式

    本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

    Aug, 2015

  • 通过凸风险最小化估计分歧函数和似然比

    本文提出了一种基于非渐进变分表征的凸经验风险优化方法，用于估计 $f$- 散度和两个概率分布的似然比，通过解决标准凸规划求解，可以实现简单的实现，可在某些情况下达到最优最小风险速率。

    Sep, 2008

  • f - 散度估计的实用和一致性

    本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。

    May, 2019

  • 关于替代损失函数和 f - 分布

    本研究针对使用量化器降维的二元分类问题，从损失函数的角度提出了实现贝叶斯一致性的条件，扩展了 Ali-Silvey 函数和 surrogate loss 函数之间的对应关系。这一结果为选择在联合估计判别函数和量化器时实现贝叶斯一致性的 surrogate loss 函数提供了可能。

    Oct, 2005

  • 二元实验的信息、离散度和风险

    本文通过系统地研究这些对象和它们的积分和变分表示，识别了它们的原语，将其与成本敏感的二进制分类联系起来，阐明了生成和判别视图之间的关系，提供了更紧密和更广泛的代理损失界限和广义 Pinsker 不等式，并提出了估计 f 散度的新技术。

    Jan, 2009

  • $f$- 分散基于分类：超越交叉熵的使用

    通过采用贝叶斯观点，将分类任务形式化为最大后验概率问题，并基于变分表示提取了基于 $f$-divergence 的五个后验概率估计器的目标函数类。此外，通过改进现有方法，提出了一种基于自适应 log 转换的新目标函数以及后验概率估计器。理论上证明了后验概率估计器的收敛性，并在玩具示例、图像数据集和信号检测 / 解码问题的三个应用场景中进行了数值测试，结果表明提出的估计器的有效性，而自适应 log 转换具有几乎所有场景中最高的分类准确性。

    Jan, 2024

  • 具有分解高斯近似的变分推断的差异排序

    用变分推断方法（VI）在高斯分布的近似中分析不同的散度选择如何影响估计不确定性的测量时，发现了它们的排序方式，并得出了不同散度会导致正确估计哪种测量的结论。

    Mar, 2024

  • 基于模拟的推断与广义 Kullback-Leibler 散度

    在基于模拟的推断中，我们提出了一种通用的 Kullback-Leibler 散度优化方法，可以处理非规范化分布，将常用的神经后验估计方法和神经比率估计方法统一为一个目标，并研究了一个混合模型，通过学习规范化基础分布和学习比率来同时发挥两者的优势，并给出了基准结果。

    Oct, 2023