本文通过代数统计学的方法分析高斯混合模型中的极大似然估计,发现 MLE 不是数据的代数函数,因此这些模型没有 ML 度的概念,似然函数的临界点是超越的,并且即使是两个单变量高斯混合模型,其临界点数量也没有界限。
Aug, 2015
研究了在条件泊松抽样方案下对数线性模型中的最大似然估计, 推导了模型参数的最大似然估计器存在的必要和充分条件,探究了自然和均值参数在不存在 MLE 情况下的可估性。此外,提出了拓展最大似然估计算法,并利用对数线性模型的几何性质,为对数线性模型分析的现有算法进行改进和修正。
Apr, 2011
研究了给定预期度序列的加权图上最大熵分布。使用指数族分布的一般理论,导出了顶点参数的最大似然估计量 (MLE) 的存在和唯一性,同时证明了单个样本的 MLE 在大图极限下的一致性,以及推出了加权图的 Erdos-Gallai 准则和顶点势的独立边权。
Jan, 2013
使用加入 l1-norm 惩罚项的最大似然问题的解决办法来估计高斯或二元分布参数,以得到稀疏的无向图模型,并利用块坐标下降和 Nesterov's 一阶法等算法将复杂度限制在可接受范围内。
Jul, 2007
本文研究了从高维实证观测中对高斯图模型进行部分估计的方法,提出了使用 $\ell_1$-regularized 最大似然估计的凸优化模型,并采用块坐标下降算法进行求解。实验证明该方法在统计估计性能和实际应用中表现优异。
Sep, 2012
介绍了如何将双向图转化为最大祖先图,以提高高斯模型中的极大似然函数迭代求解效率及找出最大似然估计等于经验估计的情况。
Aug, 2007
研究在最大似然估计的统计中如何求解多项式的幂乘积最大化的优化问题,并给出了在通用系数的情况下的多项式的精确公式。
Jun, 2004
本文通过建立高维逻辑回归模型中最大似然估计 MLE 存在性的分界曲线,证明 MLE 的存在性具有 “相变” 的特性,当问题具有足够高的维数时 MLE 几乎不可能存在,曲线参数由回归系数未知序列的整体大小确定。
Apr, 2018
现代机器学习系统的一个关键挑战是实现越界通用化(OOD generalization)- 广义到与源数据分布不同的目标数据。本文证明了在针对协变量转移的规范设置下,令人惊讶的是,纯使用源数据(无需任何修改)的经典最大似然估计(MLE)达到了最小最大优化。我们的结果适用于非常丰富的参数模型,并不需要对密度比率施加任何有界条件。我们通过线性回归、逻辑回归和相位恢复的三个具体示例来说明我们框架的广泛适用性。此外,本文通过证明在误规设定下,MLE 不再是最优选择,而在某些情景下,最大加权似然估计(MWLE)成为最小最大优化。
Nov, 2023
本文探讨了多元广义高斯分布(MGGD)和椭圆对称分布下的协方差估计的最大似然优化问题,提供了一种新的基于测地线凸性分析该似然函数的方法以及通过结构化稀疏性限制的广义协方差估计框架。
Apr, 2013