Apr, 2024

通过 $h$-Lifted Kullback--Leibler Divergence 在紧致域上进行混合密度估计的风险界限

PDF
TL;DR基于样本数据，我们考虑使用某个组件类的有限混合密度来估计概率密度函数的问题，并引入 H - 提升 Kullback-Leibler（KL）散度作为标准 KL 散度的一种泛化和进行风险最小化的准则。在紧支持假设下，我们证明了使用 H - 提升 KL 散度时估计误差的期望具有 O (1/√n) 的上界，这扩展了 Rakhlin 等人（2005）和 Li 和 Barron（1999）的结果，从而允许风险绑定到非严格正的密度函数。我们使用 Majorization-Maximization 框架开发了相应的最大 H - 提升似然估计器（H-MLLE）计算方法，并提供了实验结果以支持我们的理论界限。
probability density functionsfinite mixturekullback-leibler divergencerisk minimizationmaximum likelihood estimator
发现论文，激发创造
  • 使用分段对数和指数不等式保证单变量混合体的 Kullback-Leibler 散度

    该研究提出了一种快速通用的方法，可以对混合模型的熵、交叉熵和 KL 散度的闭合形式下限和上限进行算法生成。

    Jun, 2016

  • Kullback-Leibler 损失函数估计器合并的最优指数界

    本篇研究文章探讨了针对各种概率模型使用 Kullback-Leibler 距离的模型选择类型聚合问题。文章提出了两种聚合方法，并使用惩罚极大似然准则选择聚合权重，给出了高概率的锐利的神谕不等式和相应的下界结果。

    Jan, 2016

  • 无限维指数族密度估计

    使用无限维度的指数族函数族估算未知的概率密度，通过解决一个简单的有限维度线性系统，获得比非参数核密度估算器更好的结果，该估算器基于 Fisher 散度，可以在 Kullback-Leibler 散度下近似表示广泛类别的概率密度。

    Dec, 2013

  • 密度估計中的下界和聚合

    本文通过对 M 个密度估计器进行聚合过程来证明其最优性，并针对 KL 距离、Hellinger 距离和 L1 距离类型的模型选择估计器证明了下限，其中 KL 距离的下限可以通过 Yang (2000) 等人建议的在线估计获得。这些结果的结合使我们确认了对于采样量 n，ln (M/n) 是按照 Tsybakov (2003) 的意义下的最优聚合速率。

    Mar, 2006

  • 在 RKHS 中的密度比自适应学习

    通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

    Jul, 2023

  • 多维密度对数凹最大似然估计器的理论性质

    针对独立同分布样本的密度的对数凹最大似然估计器的理论性质进行了阐述，对真实的基础密度为对数凹和误差模型两种情况进行了研究，证明了对于对数凹密度序列，分布收敛意味着强类型的收敛，而且在某些指数加权的总变异规范下甚至意味着 Hellinger 距离的收敛。在主要结果中，证明了所有对数凹密度中最小化 Kullback-Leibler 分歧的对数凹密度的存在性和唯一性，并且还展示了对于这些指数加权的总变异规范收敛于这个最小化器的对数凹最大似然估计器。在正确规定模型的情况下，这证明了估计器的一种强的一致性；在误设模型的情况下，它表明估计器收敛于最接近真实密度的 Kullback-Leibler 意义下的对数凹密度。

    Aug, 2009

  • 通过凸风险最小化估计分歧函数和似然比

    本文提出了一种基于非渐进变分表征的凸经验风险优化方法，用于估计 $f$- 散度和两个概率分布的似然比，通过解决标准凸规划求解，可以实现简单的实现，可在某些情况下达到最优最小风险速率。

    Sep, 2008

  • 从 $ε$- 熵到 KL - 熵：最小信息复杂度密度估计的分析

    本篇论文研究了基于 KL 散度的复杂度度量方法，为确定性和随机密度估计器的统计复杂度提供了一般的信息理论不等式，并发现这种技术可以改进一些经典结果，特别是可以导出干净的有限样本收敛界限。

    Feb, 2007

  • KL 散度的估计：最优极小极大速率

    研究在字母表大小可以无限扩展的假设下，基于从 P 中抽取 m 个独立样本和从 Q 中抽取 n 个独立样本，估算两个未知分布 P 和 Q 之间 Kullback-Leibler 差异的问题，并提出了改进后的插件估计器和最小二次风险最小值估计器。

    Jul, 2016

  • Rényi 分布估计的广义指数集中不等式

    本文研究非参数统计学中估计分歧的问题，提出了一种 Renyi-alpha 分歧的估计算法，并给出了一个关于该算法的指数不等式一致收敛边界，并通过数值实验验证了该算法。

    Mar, 2016