本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

Mar, 2018

现代机器学习系统的一个关键挑战是实现越界通用化（OOD generalization）- 广义到与源数据分布不同的目标数据。本文证明了在针对协变量转移的规范设置下，令人惊讶的是，纯使用源数据（无需任何修改）的经典最大似然估计（MLE）达到了最小最大优化。我们的结果适用于非常丰富的参数模型，并不需要对密度比率施加任何有界条件。我们通过线性回归、逻辑回归和相位恢复的三个具体示例来说明我们框架的广泛适用性。此外，本文通过证明在误规设定下，MLE 不再是最优选择，而在某些情景下，最大加权似然估计（MWLE）成为最小最大优化。

Nov, 2023

研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

Nov, 2019

本论文研究高维机器学习中常遇到的广义线性模型，利用互信息推导贝叶斯最优估计和广义错误率，并且严谨论证了存在多个可学习区域，这对于算法开发和模型性能评估具有挑战性。

Aug, 2017

透过研究样本复杂度，我们发现逻辑回归模型的参数估计受到维数和逆温度的影响，其样本复杂度曲线在逆温度上具有两个临界点，明确地分割低、中、高温度区间。

Jul, 2023

从几何的角度研究高斯图模型中的最大似然估计，提出代数消元方法来求得 MLE 存在的下界，并将其应用于二分图、网格和彩色图。研究了 ML 度量，给出第一个例子，即使观测数等于树宽度时 MLE 也存在的图.

Dec, 2010

研究了在条件泊松抽样方案下对数线性模型中的最大似然估计， 推导了模型参数的最大似然估计器存在的必要和充分条件，探究了自然和均值参数在不存在 MLE 情况下的可估性。此外，提出了拓展最大似然估计算法，并利用对数线性模型的几何性质，为对数线性模型分析的现有算法进行改进和修正。

Apr, 2011

本文研究了高维情况下正则化逻辑回归（RLR），其中加入了鼓励所需结构的凸正则项。通过求解一组非线性方程组，我们提供了 RLR 性能的精确分析，并获得了各种性能度量的显式表达式。我们进行了广泛的数值模拟，并在各种参数值和问题实例中验证了理论。

Jun, 2019

本文通过代数统计学的方法分析高斯混合模型中的极大似然估计，发现 MLE 不是数据的代数函数，因此这些模型没有 ML 度的概念，似然函数的临界点是超越的，并且即使是两个单变量高斯混合模型，其临界点数量也没有界限。

Aug, 2015

通过对随机凸优化问题进行第一次严格分析，本文提出了描述随机凸优化问题中相变现象的工具，以及可靠地预测转变区域位置和宽度的技术，这些技术适用于具有随机测量的正则化线性逆问题、随机不连贯模型下的分离问题以及随机仿射约束锥形程序等；该文还引入了统计维度这一概要参数来说明这一应用结果依赖于锥形几何的基础研究，并且通过展示锥形几何中一系列内固体积集中分布在其上，得到了对于随机旋转锥体和一个固定锥体共享射线的概率的准确上界。

Mar, 2013