Feb, 2015

自适应熵估计

PDF
TL;DR本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证明了估计在样本 n 的情况下是最优的，并且基本上相当于 MLE 使用 nlnn 个样本进行估计。
shannon entropyestimationapproximation theoryadaptive estimation frameworkmaximum likelihood estimator
发现论文，激发创造
  • 离散分布函数的最大似然功能估计

    针对离散分布函数的函数估计问题，利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明，MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度，且 Dirichlet 先验平滑技术不能达到最小化极值。

    Jun, 2014

  • 离散分布函数的函数估计极小化

    本文提出了一种构建广义极小极大估计器的方法，以及一个基于多项分布的特殊案例。并在熵和互信息估计领域展示了这一方法的实用性和优势。

    Jun, 2014

  • 通过最佳多项式逼近，在大字母表上最小化熵估计率

    在独立样本的基础上，通过多项式逼近构建最优估计器并证明了最小均方误差与自然对数的平方存在关系，进而推导出最小样本量与以 K 为底的对数的比例成正比的一般规律.

    Jul, 2014

  • 在 l1 损失下的离散分布的最小极小值估计

    该研究分析了离散分布估计问题，并提供了最大风险和最小极小风险的上下界，进而得出在特定条件下最大风险极小风险的渐近性能。通过该研究可得出在经验分布估计中的渐近最大风险和最小极小风险，并且通过对概率分量估计确定了渐近最小极小风险。

    Nov, 2014

  • 不充分抽样的熵估计

    本论文详细介绍了针对离散分布的 Shannon 熵估计器的一些估计方法，适用于 N 个样本点分布到 M 个箱中，其中 N 和 M -> oo，但 N/M < oo，高采样区域（每个箱子 <<1 个点）具有指数级小的偏差，低采样区域的误差增加，但仍远小于大多数其他估计器。其中一个优势是我们的主要估计器通过解析方法得到，偏差有明确已知的解析公式。

    Jul, 2003

  • 大状态空间马尔可夫链的熵率估计

    本文研究了从一个马尔可夫链的样本路径进行熵速率估计的问题，证明了在一定的条件下，如马尔可夫链混合得不太慢，则可以实现一致的估计。作者使用提出的估计器在英语数据集上进行了实验并与其他方法进行了比较，结果表明该估计器能够有效地解决估计问题。

    Feb, 2018

  • Lipschitz ball 上的熵估计的最优速率

    本论文研究了在 Lipschitz ball 中无界密度的极小极大熵估计，使用 Orlicz 函数得出了新的估计率，并探讨了核密度估计的最坏情况表现以及与 Fisher 信息相关的不等式。

    Nov, 2017

  • 离散分布的 Renyi 熵估计

    本文研究了估算离散 k 字符分布的 Renyi 熵需要的样本数量，并通过近似多项式的方法，将非整数阶数的复杂度降低至近似于 k 的线性，而整数阶数的复杂度仅需 k 的 1-1/α 次方个样本，并给出了一些难以区分的具有不同 Renyi 熵的分布的显式构造。

    Aug, 2014

  • 离散分布间差异的最小化最优估计

    通过构建一个使用混合方法的线性规划，解决非平滑区域的矩匹配问题并在平滑区域应用问题相关的偏差校正插入估计符的第一种极小估计，我们研究了整数 α≥1 下离散分布的 α- 距离的最小极大估计。

    May, 2016

  • 私人和通信高效的熵估计算法

    本文提供了针对现代统计估计的改进的隐私保护算法和通信效率算法，包括用于估计分布熵的算法和用于通信效率估计基尼熵的算法，并基于现有最佳算法推广了一种用于碰撞熵估计的算法，满足局部差分隐私。

    May, 2023