指数族置换估计
在本文中,我们提出了一种新的损失函数和一种计算高效的估计器,它在温和条件下是一致且渐近正态的。我们将我们的方法视为同一类指数族的重新参数化分布的最大似然估计,并证明我们的估计器可以解释为最小化特定的 Bregman 得分以及最小化代理似然的实例。同时,我们还提供了有限样本保证,以在参数估计中实现误差(在ℓ₂范数中)为 α,样本复杂度为 O (poly (k)/α²)。当定制为节点稀疏马尔可夫随机场时,我们的方法实现了 O (log (k)/α²) 的优化样本复杂度。最后,我们通过数值实验展示了我们估计器的性能。
Sep, 2023
本研究提出了一种新的非归一化统计模型估计器族,其参数由两个非线性函数组成,使用来自辅助分布的单个样本,推广了 Geyer 和 Thompson(1992)的最大似然蒙特卡罗估计方法,并且可以像模型中的任何其他参数一样估计分区函数。同时,我们可以通过优化代数简单且定义明确的目标函数来进行估计,从而允许使用专用优化方法。最后,我们从计算效率的角度考虑了相对于给定数据量的最佳辅助样本量。
Mar, 2012
研究了一类指数族模型,其规范参数被指定为未知的无限维斜率函数的线性泛函。建立了斜率函数估计的最优最小值收敛速率。构造了实现最优速率的估计量,这些估计量通过带有样本大小增长的参数的受限最大似然估计来构造。通过类似于 Le Cam 渐近等价理论的测度变换论证,消除了指数族模型非线性引起的偏差。
Aug, 2011
本文证明了针对一类二元数据的 Ising 自旋玻璃模型,如给定模型的单个实现,其最大伪似然估计值在某一点处是 squraat {a_N}- 一致的,推广了 Chatterjee(2007)的结果,同时在简单图的收敛序列中,证明了在高温相中不可能进行一致的测试和估计。我们还展示了我们的结果在合成和真实世界网络数据上的应用。
Jul, 2015
提供了对于一般抽象非线性统计量的接近正态性的一致和非一致 Berry-Esseen(BE)界限,然后利用这些结果得到了向量统计的 delta 方法的收敛速度的最优界限,并且给出了特定应用,如梅森、非中心学生和 Hotelling 统计量,球形测试统计量,正则化规范相关以及最大似然估计器(MLE),所有这些一致和非一致的 BE 界限都可能是这种类型的首个已知结果,除了 MLE 的一致 BE 界限。
May, 2009
研究了一种基于核范数惩罚的矩阵完成方法,解决了样本噪声分布属于指数族的情况,证明得到的速率优于以往;在已知样本分布的基础上,提出了另一种估计方法,并在 Kullback-Leibler 预测风险方面证明了内部一致性,也能得到 Frobenius 预测风险的上限,并最终证明了所有速率都是至少最优的。
Feb, 2015
使用无限维度的指数族函数族估算未知的概率密度,通过解决一个简单的有限维度线性系统,获得比非参数核密度估算器更好的结果,该估算器基于 Fisher 散度,可以在 Kullback-Leibler 散度下近似表示广泛类别的概率密度。
Dec, 2013
通过本文,我们研究并证明了一种简化的通信高效分布式学习框架,它利用数据子集计算本地最大似然估计量,并结合本地估计值实现对全局 MLE 的最佳近似,并证明了该框架的统计性质与误差率性质。我们还研究了使用 KL 散度方法与更常见的线性组合方法组合本地 MLE 的经验性能,并表明 KL 方法在实际设置中比线性组合方法更为优越,可解决模型错误、非凸性和异构数据分区等问题。
Oct, 2014
本文提出了一个非参数条件分布族,使用适当的 RKHS 中的函数参数来推广条件指数族;给出了一个学习广义自然参数的算法,并在特定情况下建立了估计的一致性。在实验中,新方法通常优于具有一致性保证的竞争方法,并在表现突变和异方差性的数据集上与深度条件密度模型具有竞争力。
Nov, 2017
本研究探讨和比较了三个离散单调分布的估计器:(a) 原始经验估计器;(b) 排列方法估计器;和 (c) 最大似然估计器。我们发现,在分布具有稳定区间时,最大似然估计器严格优于排列和经验估计器。
Oct, 2009