Nov, 2017

最近邻信息估计器具有自适应接近极小最大速率最优性

PDF
TL;DR本文对 Kozachenko-Leonenko 估计器在扭曲空间中的微分熵进行了分析，提出了首个关于其性能的均匀上界估计和新的极小化下界估计，并且证明了 KL 估计器在不考虑 H"older 球的平滑参数时，可以达到极小化速率，成为第一个可以明确满足此属性的估计器。
kozachenko-leonenko estimatordifferential entropyminimax ratesh"older ballssmoothness parameter
发现论文，激发创造
  • 通过 $k$- 最近邻距离高效估算多元熵

    本文提出一种基于加权平均值的熵估计器，利用 $k$- 最近邻距离和加权项来实现局部渐进极小化极小化损失下的效率估计，可以在任意维度上获得高效估计，并促进了渐近最小宽度熵的置信区间的构建。

    Jun, 2016

  • Lipschitz ball 上的熵估计的最优速率

    本论文研究了在 Lipschitz ball 中无界密度的极小极大熵估计，使用 Orlicz 函数得出了新的估计率，并探讨了核密度估计的最坏情况表现以及与 Fisher 信息相关的不等式。

    Nov, 2017

  • 解密固定 k 最近邻信息估计器

    本文研究了基于 $KSG$ 估计的互信息估计中，样本数对偏差收敛速度的影响，发现了 $KSG$ 估计器的优越性能来源于 “相关性提升” 效应，并通过改进 $KSG$ 估计器构建出更优秀的估计器。

    Apr, 2016

  • 从 $ε$- 熵到 KL - 熵：最小信息复杂度密度估计的分析

    本篇论文研究了基于 KL 散度的复杂度度量方法，为确定性和随机密度估计器的统计复杂度提供了一般的信息理论不等式，并发现这种技术可以改进一些经典结果，特别是可以导出干净的有限样本收敛界限。

    Feb, 2007

  • 基于广义最近邻图的 Rényi 熵和互信息估计

    本文提出了一种基于非参数估计和广义最近邻图的计算 Renyi 熵和互信息的算法，证明了这种算法的几乎必然一致性和上限的收敛速度，并在实验中展示了其在独立子空间分析中的实用性。

    Mar, 2010

  • 离散分布间差异的最小化最优估计

    通过构建一个使用混合方法的线性规划，解决非平滑区域的矩匹配问题并在平滑区域应用问题相关的偏差校正插入估计符的第一种极小估计，我们研究了整数 α≥1 下离散分布的 α- 距离的最小极大估计。

    May, 2016

  • KL 散度的估计：最优极小极大速率

    研究在字母表大小可以无限扩展的假设下，基于从 P 中抽取 m 个独立样本和从 Q 中抽取 n 个独立样本，估算两个未知分布 P 和 Q 之间 Kullback-Leibler 差异的问题，并提出了改进后的插件估计器和最小二次风险最小值估计器。

    Jul, 2016

  • 多元熵估计的集成估计器

    本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。

    Mar, 2012

  • 鲁棒线性回归：多项式时间内的最优速率

    本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下，基于平方和框架的线性模型学习算法，该算法的收敛速度与扰动的比例成幂率关系，能达到理论最优收敛速度且在先前研究中未被发现。

    Jun, 2020

  • 核密度估计中的带宽选择：Oracle 不等式和自适应极小化最优性

    本文提出了一种核估计器的选择程序，导出了相应的 Ls 风险权威不等式，证明所提出的选择规则导致估计量在尺度为各向异性 Nikol'skii 类上达到最小化。

    Sep, 2010