通过本文，我们研究并证明了一种简化的通信高效分布式学习框架，它利用数据子集计算本地最大似然估计量，并结合本地估计值实现对全局 MLE 的最佳近似，并证明了该框架的统计性质与误差率性质。我们还研究了使用 KL 散度方法与更常见的线性组合方法组合本地 MLE 的经验性能，并表明 KL 方法在实际设置中比线性组合方法更为优越，可解决模型错误、非凸性和异构数据分区等问题。

Oct, 2014

研究了一类指数族模型，其规范参数被指定为未知的无限维斜率函数的线性泛函。建立了斜率函数估计的最优最小值收敛速率。构造了实现最优速率的估计量，这些估计量通过带有样本大小增长的参数的受限最大似然估计来构造。通过类似于 Le Cam 渐近等价理论的测度变换论证，消除了指数族模型非线性引起的偏差。

Aug, 2011

在本文中，我们提出了一种新的损失函数和一种计算高效的估计器，它在温和条件下是一致且渐近正态的。我们将我们的方法视为同一类指数族的重新参数化分布的最大似然估计，并证明我们的估计器可以解释为最小化特定的 Bregman 得分以及最小化代理似然的实例。同时，我们还提供了有限样本保证，以在参数估计中实现误差（在ℓ₂范数中）为 α，样本复杂度为 O (poly (k)/α²)。当定制为节点稀疏马尔可夫随机场时，我们的方法实现了 O (log (k)/α²) 的优化样本复杂度。最后，我们通过数值实验展示了我们估计器的性能。

Sep, 2023

本文提出一种基于罚函数的最大对数似然估计方法，针对自变量在再生核 Hilbert 空间中的指数族分布进行研究，通过 “双重对偶嵌入” 技术避免了划分函数的计算，同时还提出灵活的采样策略以节约推理阶段的蒙特卡罗采样成本，并将该估计器推广到核条件指数族中。我们还将核指数族估计方法和 MMD-GANs 相联系，揭示了理解 GAN 的新视角，该方法在时间和内存效率上优于基于分数匹配的估计器，且在统计收敛率上表现更强。实验结果表明，该估计器在性能上优于现有的最先进技术。

Nov, 2018

本文介绍了在确定性设计下，回归设置中的简单聚合问题，并将其从高斯分布扩展到指数族分布。通过约束和 / 或罚分最大化方法解决此问题并导出了能够在期望和高概率情况下保持的谐振不等式。最后，证明了所有边界在最小化意义上都是最优的。

Nov, 2009

研究了一种基于核范数惩罚的矩阵完成方法，解决了样本噪声分布属于指数族的情况，证明得到的速率优于以往；在已知样本分布的基础上，提出了另一种估计方法，并在 Kullback-Leibler 预测风险方面证明了内部一致性，也能得到 Frobenius 预测风险的上限，并最终证明了所有速率都是至少最优的。

Feb, 2015

提出了一种有效的用于指数族模型最大似然估计的算法，包括神经网络模型的一般能量函数参数化。通过运用动力学嵌入的神经架构，利用动力学扩展模型获取与对抗性双重取样器相关的估计，我们继承 HMC 的灵活性，同时为增广模型提供了可处理的熵估计。通过同时学习双重取样器和原始模型，并共用它们之间的参数，我们避免了需要在模型训练后设计单独的采样过程的要求，从而实现更有效的学习。

Apr, 2019

该论文提出了一种基于离散指数族分布和可微神经组件相结合的模型的端到端学习框架 Implicit Maximum Likelihood Estimation（I-MLE），并介绍了一种新型的噪声分布 perturb-and-MAP，该框架在几个数据集上表现良好，并且与依赖于特定问题松弛的现有方法相比竞争力强。

Jun, 2021

提出了一种新的学习理论复杂性概念，它在经验风险最小化和贝叶斯估计器的情况下分别以数据无关的 Rademacher 复杂度和数据相关的信息复杂度进行上限绑定，并通过 Rademacher 复杂度将其与 $L_2 (P)$ 熵进行关联。该研究进一步使用 ' 易于理解 ' 和模型复杂性等相互分离的方法，提供适用于 VC 和多项式熵类的最优性差距上限。

Oct, 2017

本研究提出了一种新的非归一化统计模型估计器族，其参数由两个非线性函数组成，使用来自辅助分布的单个样本，推广了 Geyer 和 Thompson（1992）的最大似然蒙特卡罗估计方法，并且可以像模型中的任何其他参数一样估计分区函数。同时，我们可以通过优化代数简单且定义明确的目标函数来进行估计，从而允许使用专用优化方法。最后，我们从计算效率的角度考虑了相对于给定数据量的最佳辅助样本量。

Mar, 2012