Aug, 2014

离散分布的 Renyi 熵估计

PDF
TL;DR本文研究了估算离散 k 字符分布的 Renyi 熵需要的样本数量，并通过近似多项式的方法，将非整数阶数的复杂度降低至近似于 k 的线性，而整数阶数的复杂度仅需 k 的 1-1/α 次方个样本，并给出了一些难以区分的具有不同 Renyi 熵的分布的显式构造。
entropy estimationrenyi entropysample complexityadditive functionslower bounds
发现论文，激发创造
  • 自适应熵估计

    本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证明了估计在样本 n 的情况下是最优的，并且基本上相当于 MLE 使用 nlnn 个样本进行估计。

    Feb, 2015

  • 不充分抽样的熵估计

    本论文详细介绍了针对离散分布的 Shannon 熵估计器的一些估计方法，适用于 N 个样本点分布到 M 个箱中，其中 N 和 M -> oo，但 N/M < oo，高采样区域（每个箱子 <<1 个点）具有指数级小的偏差，低采样区域的误差增加，但仍远小于大多数其他估计器。其中一个优势是我们的主要估计器通过解析方法得到，偏差有明确已知的解析公式。

    Jul, 2003

  • 离散分布函数的最大似然功能估计

    针对离散分布函数的函数估计问题，利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明，MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度，且 Dirichlet 先验平滑技术不能达到最小化极值。

    Jun, 2014

  • 大状态空间马尔可夫链的熵率估计

    本文研究了从一个马尔可夫链的样本路径进行熵速率估计的问题，证明了在一定的条件下，如马尔可夫链混合得不太慢，则可以实现一致的估计。作者使用提出的估计器在英语数据集上进行了实验并与其他方法进行了比较，结果表明该估计器能够有效地解决估计问题。

    Feb, 2018

  • 通过最佳多项式逼近，在大字母表上最小化熵估计率

    在独立样本的基础上，通过多项式逼近构建最优估计器并证明了最小均方误差与自然对数的平方存在关系，进而推导出最小样本量与以 K 为底的对数的比例成正比的一般规律.

    Jul, 2014

  • 基于广义最近邻图的 Rényi 熵和互信息估计

    本文提出了一种基于非参数估计和广义最近邻图的计算 Renyi 熵和互信息的算法，证明了这种算法的几乎必然一致性和上限的收敛速度，并在实验中展示了其在独立子空间分析中的实用性。

    Mar, 2010

  • 私人和通信高效的熵估计算法

    本文提供了针对现代统计估计的改进的隐私保护算法和通信效率算法，包括用于估计分布熵的算法和用于通信效率估计基尼熵的算法，并基于现有最佳算法推广了一种用于碰撞熵估计的算法，满足局部差分隐私。

    May, 2023

  • 通过 $k$- 最近邻距离高效估算多元熵

    本文提出一种基于加权平均值的熵估计器，利用 $k$- 最近邻距离和加权项来实现局部渐进极小化极小化损失下的效率估计，可以在任意维度上获得高效估计，并促进了渐近最小宽度熵的置信区间的构建。

    Jun, 2016

  • 在 l1 损失下的离散分布的最小极小值估计

    该研究分析了离散分布估计问题，并提供了最大风险和最小极小风险的上下界，进而得出在特定条件下最大风险极小风险的渐近性能。通过该研究可得出在经验分布估计中的渐近最大风险和最小极小风险，并且通过对概率分量估计确定了渐近最小极小风险。

    Nov, 2014

  • 离散分布函数的函数估计极小化

    本文提出了一种构建广义极小极大估计器的方法，以及一个基于多项分布的特殊案例。并在熵和互信息估计领域展示了这一方法的实用性和优势。

    Jun, 2014