Jun, 2016

通过 $k$- 最近邻距离高效估算多元熵

PDF
TL;DR本文提出一种基于加权平均值的熵估计器，利用 $k$- 最近邻距离和加权项来实现局部渐进极小化极小化损失下的效率估计，可以在任意维度上获得高效估计，并促进了渐近最小宽度熵的置信区间的构建。
发现论文，激发创造
  • 多元熵估计的集成估计器

    本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。

    Mar, 2012

  • 最近邻信息估计器具有自适应接近极小最大速率最优性

    本文对 Kozachenko-Leonenko 估计器在扭曲空间中的微分熵进行了分析，提出了首个关于其性能的均匀上界估计和新的极小化下界估计，并且证明了 KL 估计器在不考虑 H"older 球的平滑参数时，可以达到极小化速率，成为第一个可以明确满足此属性的估计器。

    Nov, 2017

  • 基于广义最近邻图的 Rényi 熵和互信息估计

    本文提出了一种基于非参数估计和广义最近邻图的计算 Renyi 熵和互信息的算法，证明了这种算法的几乎必然一致性和上限的收敛速度，并在实验中展示了其在独立子空间分析中的实用性。

    Mar, 2010

  • 使用成对距离估算混合熵

    提出一种基于混合成分之间的成对距离函数的家族估计器，该家族具有许多优越的性质，可用于计算混合熵，并在优化最大化 / 最小化熵和互信息的问题中非常有用，例如 MaxEnt 和速率失真问题。

    Jun, 2017

  • 解密固定 k 最近邻信息估计器

    本文研究了基于 $KSG$ 估计的互信息估计中，样本数对偏差收敛速度的影响，发现了 $KSG$ 估计器的优越性能来源于 “相关性提升” 效应，并通过改进 $KSG$ 估计器构建出更优秀的估计器。

    Apr, 2016

  • 估计互信息

    本文介绍了基于 $k$- 最近邻距离的熵估计的改进互信息估计器类别，并说明了它们与现有算法的比较和实际应用中的有效性。

    May, 2003

  • 固定 k 最近邻密度函数估计器的有限样本分析

    本研究提出了一个通用的框架，用于使用 k 最近邻算法估计非参数连续概率密度的泛函，包括熵和散度。该框架将多个先前的估计器统一起来，并提供了首个有限样本保证。

    Jun, 2016

  • 通过最佳多项式逼近，在大字母表上最小化熵估计率

    在独立样本的基础上，通过多项式逼近构建最优估计器并证明了最小均方误差与自然对数的平方存在关系，进而推导出最小样本量与以 K 为底的对数的比例成正比的一般规律.

    Jul, 2014

  • 从 $ε$- 熵到 KL - 熵：最小信息复杂度密度估计的分析

    本篇论文研究了基于 KL 散度的复杂度度量方法，为确定性和随机密度估计器的统计复杂度提供了一般的信息理论不等式，并发现这种技术可以改进一些经典结果，特别是可以导出干净的有限样本收敛界限。

    Feb, 2007

  • 使用最近邻比率直接估计信息差异

    提出了新的图论解释下的直接估计方法，用于估计 Renyi 和 f-divergence 的度量。通过对 Y 中 k-NN 方案点和 X 中点数之间的平均功率进行估计，可以获得两个密度之间的 Renyi divergence 估计值，并且这种方法可以用于估计 f-divergence 度量。通过使用加权合成估计技术，该方法可以用于具有连续和有界导数的密度函数的估计，其能够获得参数 MSE 率 O (1/N)。

    Feb, 2017