Feb, 2017

使用最近邻比率直接估计信息差异

PDF
TL;DR提出了新的图论解释下的直接估计方法，用于估计 Renyi 和 f-divergence 的度量。通过对 Y 中 k-NN 方案点和 X 中点数之间的平均功率进行估计，可以获得两个密度之间的 Renyi divergence 估计值，并且这种方法可以用于估计 f-divergence 度量。通过使用加权合成估计技术，该方法可以用于具有连续和有界导数的密度函数的估计，其能够获得参数 MSE 率 O (1/N)。
renyi divergencef-divergencegraph theoryestimation methodmse rate
发现论文，激发创造
  • 基于广义最近邻图的 Rényi 熵和互信息估计

    本文提出了一种基于非参数估计和广义最近邻图的计算 Renyi 熵和互信息的算法，证明了这种算法的几乎必然一致性和上限的收敛速度，并在实验中展示了其在独立子空间分析中的实用性。

    Mar, 2010

  • 用于稳健分布比较的相对密度比估计

    本文提出了一种基于相对散度的密度比较方法，它可以更好地处理密度比例函数中的高峰和波动，具有良好的非参数收敛速度和模型复杂度，通过实验证明了该方法的有效性。

    Jun, 2011

  • 半参数密度比模型下的 f - 散度估计和双样本同质性检验

    本文研究了密度比的推断问题，并将半参数密度比估计器应用于双样本均匀性检验，提出了一种基于 f - 差异估计的检验过程，导出了 f - 差异的最优估计器，并用数值研究说明渐近理论在有限样本推断中的充分性。

    Oct, 2010

  • 在 RKHS 中的密度比自适应学习

    通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

    Jul, 2023

  • 通过 $k$- 最近邻距离高效估算多元熵

    本文提出一种基于加权平均值的熵估计器，利用 $k$- 最近邻距离和加权项来实现局部渐进极小化极小化损失下的效率估计，可以在任意维度上获得高效估计，并促进了渐近最小宽度熵的置信区间的构建。

    Jun, 2016

  • 估计互信息

    本文介绍了基于 $k$- 最近邻距离的熵估计的改进互信息估计器类别，并说明了它们与现有算法的比较和实际应用中的有效性。

    May, 2003

  • 高维密度比估计及其拓展在近似似然计算中的应用

    提出了一种基于核算子特征函数的密度比估计器，避免了显式降维步骤，可以更好地反映数据的几何结构，同时可扩展应用于极端高维下的似然函数估计问题。

    Apr, 2014

  • Rényi 分布估计的广义指数集中不等式

    本文研究非参数统计学中估计分歧的问题，提出了一种 Renyi-alpha 分歧的估计算法，并给出了一个关于该算法的指数不等式一致收敛边界，并通过数值实验验证了该算法。

    Mar, 2016

  • 多元熵估计的集成估计器

    本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。

    Mar, 2012

  • f - 散度估计的实用和一致性

    本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。

    May, 2019