针对离散分布函数的函数估计问题，利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明，MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度，且 Dirichlet 先验平滑技术不能达到最小化极值。

Jun, 2014

本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

Mar, 2018

本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证明了估计在样本 n 的情况下是最优的，并且基本上相当于 MLE 使用 nlnn 个样本进行估计。

Feb, 2015

在本文中，我们提出了一种新的损失函数和一种计算高效的估计器，它在温和条件下是一致且渐近正态的。我们将我们的方法视为同一类指数族的重新参数化分布的最大似然估计，并证明我们的估计器可以解释为最小化特定的 Bregman 得分以及最小化代理似然的实例。同时，我们还提供了有限样本保证，以在参数估计中实现误差（在ℓ₂范数中）为 α，样本复杂度为 O (poly (k)/α²)。当定制为节点稀疏马尔可夫随机场时，我们的方法实现了 O (log (k)/α²) 的优化样本复杂度。最后，我们通过数值实验展示了我们估计器的性能。

Sep, 2023

本文介绍了一种基于非广义熵的新参数估计器 - 最大 L$q$ 似然估计器（ML$q$E）。通过渐近分析和计算机模拟研究 ML$q$E 的特性，表明对于小样本和中样本，当适当选择失真参数 $q$ 时，可以通过牺牲偏差以获得更大的精确度，从而显著降低均方误差。当样本量大且 $q$ 趋近于 1 时，还建立了确保 ML$q$E 渐近正态性和效率的必要条件。

Feb, 2010

通过本文，我们研究并证明了一种简化的通信高效分布式学习框架，它利用数据子集计算本地最大似然估计量，并结合本地估计值实现对全局 MLE 的最佳近似，并证明了该框架的统计性质与误差率性质。我们还研究了使用 KL 散度方法与更常见的线性组合方法组合本地 MLE 的经验性能，并表明 KL 方法在实际设置中比线性组合方法更为优越，可解决模型错误、非凸性和异构数据分区等问题。

Oct, 2014

本文研究了在将个体的学习数据拟合到类似算法的学习模型时，如果学习速率是恒定的，那么 MLE 的估计不能有效，同时如果学习速率随样本数量按多项式下降，则 MLE 的预测误差和估计误差都满足概率边界，这些边界随多项式率下降。

May, 2023

研究了在条件泊松抽样方案下对数线性模型中的最大似然估计， 推导了模型参数的最大似然估计器存在的必要和充分条件，探究了自然和均值参数在不存在 MLE 情况下的可估性。此外，提出了拓展最大似然估计算法，并利用对数线性模型的几何性质，为对数线性模型分析的现有算法进行改进和修正。

Apr, 2011

现代机器学习系统的一个关键挑战是实现越界通用化（OOD generalization）- 广义到与源数据分布不同的目标数据。本文证明了在针对协变量转移的规范设置下，令人惊讶的是，纯使用源数据（无需任何修改）的经典最大似然估计（MLE）达到了最小最大优化。我们的结果适用于非常丰富的参数模型，并不需要对密度比率施加任何有界条件。我们通过线性回归、逻辑回归和相位恢复的三个具体示例来说明我们框架的广泛适用性。此外，本文通过证明在误规设定下，MLE 不再是最优选择，而在某些情景下，最大加权似然估计（MWLE）成为最小最大优化。

Nov, 2023

该研究分析了离散分布估计问题，并提供了最大风险和最小极小风险的上下界，进而得出在特定条件下最大风险极小风险的渐近性能。通过该研究可得出在经验分布估计中的渐近最大风险和最小极小风险，并且通过对概率分量估计确定了渐近最小极小风险。

Nov, 2014