Jun, 2014

离散分布函数的最大似然功能估计

PDF
TL;DR针对离散分布函数的函数估计问题，利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明，MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度，且 Dirichlet 先验平滑技术不能达到最小化极值。
estimating functionalsmleshannon entropysample complexitydirichlet prior
发现论文，激发创造
  • 离散分布函数的函数估计极小化

    本文提出了一种构建广义极小极大估计器的方法，以及一个基于多项分布的特殊案例。并在熵和互信息估计领域展示了这一方法的实用性和优势。

    Jun, 2014

  • 自适应熵估计

    本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证明了估计在样本 n 的情况下是最优的，并且基本上相当于 MLE 使用 nlnn 个样本进行估计。

    Feb, 2015

  • 在 l1 损失下的离散分布的最小极小值估计

    该研究分析了离散分布估计问题，并提供了最大风险和最小极小风险的上下界，进而得出在特定条件下最大风险极小风险的渐近性能。通过该研究可得出在经验分布估计中的渐近最大风险和最小极小风险，并且通过对概率分量估计确定了渐近最小极小风险。

    Nov, 2014

  • 通过最佳多项式逼近，在大字母表上最小化熵估计率

    在独立样本的基础上，通过多项式逼近构建最优估计器并证明了最小均方误差与自然对数的平方存在关系，进而推导出最小样本量与以 K 为底的对数的比例成正比的一般规律.

    Jul, 2014

  • 学习参数人口的最大似然估计

    研究了在观测了 Bernoulli 试验结果的基础上，针对具有未知分布的参数，利用最大似然估计方法准确地估计总体分布，提出了一种在样本容量不大于总体个体个数的情况下，MLE 能达到统计最优和高效计算的方法。

    Feb, 2019

  • KL 散度的估计：最优极小极大速率

    研究在字母表大小可以无限扩展的假设下，基于从 P 中抽取 m 个独立样本和从 Q 中抽取 n 个独立样本，估算两个未知分布 P 和 Q 之间 Kullback-Leibler 差异的问题，并提出了改进后的插件估计器和最小二次风险最小值估计器。

    Jul, 2016

  • 离散分布间差异的最小化最优估计

    通过构建一个使用混合方法的线性规划，解决非平滑区域的矩匹配问题并在平滑区域应用问题相关的偏差校正插入估计符的第一种极小估计，我们研究了整数 α≥1 下离散分布的 α- 距离的最小极大估计。

    May, 2016

  • 最大 Lq 似然估计

    本文介绍了一种基于非广义熵的新参数估计器 - 最大 L$q$ 似然估计器（ML$q$E）。通过渐近分析和计算机模拟研究 ML$q$E 的特性，表明对于小样本和中样本，当适当选择失真参数 $q$ 时，可以通过牺牲偏差以获得更大的精确度，从而显著降低均方误差。当样本量大且 $q$ 趋近于 1 时，还建立了确保 ML$q$E 渐近正态性和效率的必要条件。

    Feb, 2010

  • 多元熵估计的集成估计器

    本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。

    Mar, 2012

  • Lipschitz ball 上的熵估计的最优速率

    本论文研究了在 Lipschitz ball 中无界密度的极小极大熵估计，使用 Orlicz 函数得出了新的估计率，并探讨了核密度估计的最坏情况表现以及与 Fisher 信息相关的不等式。

    Nov, 2017