Jun, 2016

固定 k 最近邻密度函数估计器的有限样本分析

PDF
TL;DR本研究提出了一个通用的框架，用于使用 k 最近邻算法估计非参数连续概率密度的泛函，包括熵和散度。该框架将多个先前的估计器统一起来，并提供了首个有限样本保证。
k-nearest neighbornonparametric continuous probability densityentropydivergencefinite-sample analysis
发现论文，激发创造
  • 解密固定 k 最近邻信息估计器

    本文研究了基于 $KSG$ 估计的互信息估计中，样本数对偏差收敛速度的影响，发现了 $KSG$ 估计器的优越性能来源于 “相关性提升” 效应，并通过改进 $KSG$ 估计器构建出更优秀的估计器。

    Apr, 2016

  • 通过 $k$- 最近邻距离高效估算多元熵

    本文提出一种基于加权平均值的熵估计器，利用 $k$- 最近邻距离和加权项来实现局部渐进极小化极小化损失下的效率估计，可以在任意维度上获得高效估计，并促进了渐近最小宽度熵的置信区间的构建。

    Jun, 2016

  • 多元熵估计的集成估计器

    本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。

    Mar, 2012

  • 使用最近邻比率直接估计信息差异

    提出了新的图论解释下的直接估计方法，用于估计 Renyi 和 f-divergence 的度量。通过对 Y 中 k-NN 方案点和 X 中点数之间的平均功率进行估计，可以获得两个密度之间的 Renyi divergence 估计值，并且这种方法可以用于估计 f-divergence 度量。通过使用加权合成估计技术，该方法可以用于具有连续和有界导数的密度函数的估计，其能够获得参数 MSE 率 O (1/N)。

    Feb, 2017

  • 密度泛函估计量的指数集中性

    本文研究插值法估计器，对于一个或多个连续概率密度的广泛积分函数进行分析，证明了该估计器在 $d$ 维单位立方体上的密度函数收敛于速率 $O (n^{- rac {eta}{eta + d}})$, 并且估计器关于其均值的集中呈指数级，而大部分先前的相关研究仅证明估计器的预期误差界限。

    Mar, 2016

  • 基于广义最近邻图的 Rényi 熵和互信息估计

    本文提出了一种基于非参数估计和广义最近邻图的计算 Renyi 熵和互信息的算法，证明了这种算法的几乎必然一致性和上限的收敛速度，并在实验中展示了其在独立子空间分析中的实用性。

    Mar, 2010

  • 使用机器学习寻找密度泛函

    运用机器学习方法逼近密度泛函，在 1D 非相互作用费米子运动能量模型中，仅需少于 100 个训练密度即可达到与测试密度相似的 1kcal /mol 以下的平均绝对误差，利用主成分分析，还可找到高精度自洽密度。文章探讨了将该方法应用于真实电子结构问题面临的挑战。

    Dec, 2011

  • 扩散生成模型的最近邻评分估计器

    评分函数估计是训练和采样扩散生成模型的基石。我们引入了一种利用训练集中的多个样本来大幅降低估计方差的新型最近邻评分函数估计器，并将其应用于一致性模型训练中，加快收敛速度并提高样本质量。在扩散模型中，我们展示了该估计器可以替代学习网络用于概率流 ODE 积分，为未来研究开辟了有希望的新途径。

    Feb, 2024

  • 最近邻信息估计器具有自适应接近极小最大速率最优性

    本文对 Kozachenko-Leonenko 估计器在扭曲空间中的微分熵进行了分析，提出了首个关于其性能的均匀上界估计和新的极小化下界估计，并且证明了 KL 估计器在不考虑 H"older 球的平滑参数时，可以达到极小化速率，成为第一个可以明确满足此属性的估计器。

    Nov, 2017

  • 最近邻分类的收敛速度

    本文提出了一种新的最近邻方法，它能够适应不同空间区域的不同距离尺度，并分析其在度量空间的行为，从而得出分布相关的有限样本收敛速率，并实现了广泛数据空间的最近邻的普遍一致性。

    Jun, 2014