本篇研究文章探讨了针对各种概率模型使用 Kullback-Leibler 距离的模型选择类型聚合问题。文章提出了两种聚合方法，并使用惩罚极大似然准则选择聚合权重，给出了高概率的锐利的神谕不等式和相应的下界结果。

Jan, 2016

使用加入 l1-norm 惩罚项的最大似然问题的解决办法来估计高斯或二元分布参数，以得到稀疏的无向图模型，并利用块坐标下降和 Nesterov's 一阶法等算法将复杂度限制在可接受范围内。

Jul, 2007

通过本文，我们研究并证明了一种简化的通信高效分布式学习框架，它利用数据子集计算本地最大似然估计量，并结合本地估计值实现对全局 MLE 的最佳近似，并证明了该框架的统计性质与误差率性质。我们还研究了使用 KL 散度方法与更常见的线性组合方法组合本地 MLE 的经验性能，并表明 KL 方法在实际设置中比线性组合方法更为优越，可解决模型错误、非凸性和异构数据分区等问题。

Oct, 2014

本文讨论了在确定性设计模型下，平方损失的聚合问题。我们在误差分布和函数聚合方面获得了尖锐的 PAC-Bayesian 风险界，并将这些结果应用于导出稀疏谱系不等式。

Mar, 2008

本文提出了新型 Orlicz 偏差的概念 —— 广义 Bernstein-Orlicz 偏差，并基于更一般的指数类（即子 Weibull）尾巴假设，推导了一系列与高维统计分析有关的概率学不等式，进而应用于高维数据分析领域，包括 HD 协方差矩阵估计和 Lasso 估计器的收敛率分析等。

Apr, 2018

本文研究了正态 - 伽马分布的 Kullback-Leibler 散度，并发现它与具有共轭先验的单变量一般线性模型的贝叶斯复杂度惩罚相同。在此基础上，我们提供了两个 KL 散度的应用，一个是在模拟数据中，一个在实证数据中。

Nov, 2016

该论文研究了一种简单估计技术在重尾分布下提供指数集中性的应用和推广，证明该技术可用于平滑强凸损失函数的近似最小化，特别是在最小二乘线性回归、稀疏线性回归和低秩协方差矩阵估计中具有类似的特征。

Jul, 2013

该研究探讨了广义贝叶斯推断在错配模型下的应用，包括广义线性模型，通过 MCMC 抽样来实现广义贝叶斯 Lasso 和 Logistic 回归，并在模拟和真实数据中展示了广义贝叶斯在表现上超过标准贝叶斯的优点。

Oct, 2019

通过 Lipschitz parametrization，可以使用 Kullback-Leibler divergence 确定惩罚 Lipschitz 连续相关模型 lp 范数的方法；同时，负 lp-norm 的期望对数似然是其下界，并可用于理解概率模型的泛化能力和 Bayes error rate 的下界；我们还展示了活动识别和时间分割的初步结果。

Feb, 2012

研究具有强凸和 Lipschitz 损失的一般监督学习问题，研究模型选择集成问题。证明了 Q-aggregation 过程将产生期望和高概率上都满足最优 Oracle 不等式的估计器。

Jan, 2013