研究提出了一种更高效的密度估计方法，从而解决了一些复杂的生成学习算法中难以估计模型质量的问题，并证明其提供了真实测试对数似然的下界和无偏估计，同时还提出了一种偏差估计的变体，可以在有限的样本数下可靠地用于模型比较。

Nov, 2013

本文介绍了在确定性设计下，回归设置中的简单聚合问题，并将其从高斯分布扩展到指数族分布。通过约束和 / 或罚分最大化方法解决此问题并导出了能够在期望和高概率情况下保持的谐振不等式。最后，证明了所有边界在最小化意义上都是最优的。

Nov, 2009

本篇研究文章探讨了针对各种概率模型使用 Kullback-Leibler 距离的模型选择类型聚合问题。文章提出了两种聚合方法，并使用惩罚极大似然准则选择聚合权重，给出了高概率的锐利的神谕不等式和相应的下界结果。

Jan, 2016

本文研究直接拟合参数以最大化预测边际准确性度量的方法，该方法考虑训练时间模型和推理近似。对成像问题的实验表明，边际化学习在拟合的模型近似的困难问题上比似然近似表现更好。

Jan, 2013

本文介绍了一种基于指数域的分布的凸组合的对数划分函数的新的上界类型，适用于任何无向图模型，特别是树形结构分布的凸组合。该方法有唯一全局最小值，可以用于原模型的边际估计。此方法与更高的 treewidth 的结构相关联，从而与更高级的近似方法相关。

Dec, 2012

我们以具有未知均值的高斯分布的抽样为动机示例，通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数，同时通过与相应的抽样估计相结合，对于与数据分布之间的 Wasserstein-2 距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于 L2 准确评分估计假设的结果，以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。

Nov, 2023

本文研究从均值参数中学习无向图模型（马尔可夫随机场）的规范参数的问题，并证明了在一般情况下该参数估计是难以计算的，并基于多项式时间约简证明了这一点。

Sep, 2014

提出了一种可扩展的技术，用于上界生成模型的 Lipschitz 常数，该方法使用 zonotope 对可达向量雅可比积的集合进行逐层凸逼近来近似该数量，扩展到具有较大输出维度的神经网络的 Lipschitz 估计，为小网络提供有效和紧密的边界，并可用于采用 VAE 和 DCGAN 结构的生成模型。

Jul, 2021

本文提出一种无需完全核矩阵的矩阵分解即可计算的高斯过程回归模型的对数边际似然的下界。我们通过最大化我们的下界来学习模型参数的近似最大似然方法保留了许多稀疏变分方法的优点，同时减少了参数学习中引入的偏差。我们的方法通过对出现在对数边际似然中的对数行列式项进行更仔细的分析，以及使用共轭梯度法导出涉及二次形式的项的紧凑下界，从而在统一依赖下界最大化的方法和基于共轭梯度的迭代方法的训练高斯过程方面迈出了一步。实验结果表明，相对于其他基于共轭梯度的方法，在相当的训练时间内，我们的模型具有更好的预测性能。

Feb, 2021

使用加入 l1-norm 惩罚项的最大似然问题的解决办法来估计高斯或二元分布参数，以得到稀疏的无向图模型，并利用块坐标下降和 Nesterov's 一阶法等算法将复杂度限制在可接受范围内。

Jul, 2007