在 l1 损失下的离散分布的最小极小值估计
本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计,使用逼近理论法进行估计,实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架,该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计,从而进一步证明了估计在样本 n 的情况下是最优的,并且基本上相当于 MLE 使用 nlnn 个样本进行估计。
Feb, 2015
针对离散分布函数的函数估计问题,利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明,MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度,且 Dirichlet 先验平滑技术不能达到最小化极值。
Jun, 2014
关于随机设计回归模型的统计学习研究,我们提出了一种聚合经验最小值的方法,并建立了其风险的尖锐 Oracle 不等式,进一步证明了在良好规定的模型下,统计估计和在错误规定的模型下的统计后悔的速率等价的结论。
Aug, 2013
本论文研究了在 Lipschitz ball 中无界密度的极小极大熵估计,使用 Orlicz 函数得出了新的估计率,并探讨了核密度估计的最坏情况表现以及与 Fisher 信息相关的不等式。
Nov, 2017
引入最大熵原理的一般化方法,应用于带有从数据中得出的经验边缘条件的分布集合,提出一种针对监督学习问题的通用 minimax 方法,其中最大熵机是一种新的最小化结构化分布中最坏情况 0-1 损失的线性分类器,并且通过实验表明可以优于其他线性分类器,同时证明了 minimax 方法中的泛化最坏情况误差保证的界限。
Jun, 2016
通过构建一个使用混合方法的线性规划,解决非平滑区域的矩匹配问题并在平滑区域应用问题相关的偏差校正插入估计符的第一种极小估计,我们研究了整数 α≥1 下离散分布的 α- 距离的最小极大估计。
May, 2016
在独立样本的基础上,通过多项式逼近构建最优估计器并证明了最小均方误差与自然对数的平方存在关系,进而推导出最小样本量与以 K 为底的对数的比例成正比的一般规律.
Jul, 2014
给出了估计离散概率分布的新界限,这些界限在各种准确意义上几乎是最优的,包括一种实例最优性。我们提出的基于数据的最大似然估计的收敛性保证显著改进了目前已知的结果。我们利用和创新了多种技术,包括切诺夫型不等式和经验伯恩斯坦界。在合成和真实世界实验中验证了我们的结果。最后,我们将所提出的框架应用于一个基本的选择推理问题,即估计样本中最频繁的概率。
Feb, 2024
在分布鲁棒学习中,我们引入了基于对抗性矩违规的新的极小极大目标,并展示了通过最小化该目标等效于最小化与真实条件期望的最坏情况下的 $l_2$ 距离,从而在计算成本上提供了大体量的经验性节省。
May, 2024