该论文对深度学习中估计异方差高斯分布参数的常见方法进行了研究，并提出了一种称为 β-NLL 的替代方法，该方法可以减轻基于梯度的优化器与对数似然函数损失函数一起使用时产生的困难。该替代方法在不同领域和任务中都表现出可观的改进和更具鲁棒性，这在预测 RMSE 和对数似然度量标准方面得到验证。

Mar, 2022

基于随机截断无限序列，提出了一种针对潜变量模型的对数边缘似然及其梯度的无偏估计方法，并采用编码器 - 解码器架构对编码器参数进行优化，以最小化估计方差。该估计方法不仅适用于训练模型，还可用于无偏估计和反向 KL 散度最小化等任务。实验结果表明，该方法可以提高模型测试集的可能性。

Apr, 2020

透过研究样本复杂度，我们发现逻辑回归模型的参数估计受到维数和逆温度的影响，其样本复杂度曲线在逆温度上具有两个临界点，明确地分割低、中、高温度区间。

Jul, 2023

本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

Mar, 2018

提出了一种简单的方法来评估生成对抗网络中生成的图像质量，通过定义与真实图像在鉴别器中的嵌入分布相关的高斯似然函数，并基于此定义两个简单的度量方式，从而得出一种适用于各种 GAN 的生成图像适应度的简单度量标准，CIFAR-10 上的实证结果证明了提出的度量和生成图像的质量之间的强相关性。

Jul, 2017

概率生成模型评估标准的独立性存在着许多亟需关注的性质，本文重点评估了影像模型，阐明对于高维数据当前最常用的三个标准，即平均对数似然、Parzen 窗口估计和样本视觉保真度，这些几乎是相互独立的；因此，好的表现不一定意味着好的其他标准的表现，在评估生成模型的性能时需要针对其预期应用直接进行评估，并且通常应避免使用 Parzen 窗口方法。

Nov, 2015

该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

Jan, 2019

使用生成建模方法，本文提供了关于生成模型训练的理论洞察力，重点强调数据生成分布与训练数据生成分布之间的误差应随着样本量趋近无穷而趋近于零，并确保训练数据生成分布与任何复制训练数据样本的分布之间足够远。

Jul, 2023

通过 Lipschitz parametrization，可以使用 Kullback-Leibler divergence 确定惩罚 Lipschitz 连续相关模型 lp 范数的方法；同时，负 lp-norm 的期望对数似然是其下界，并可用于理解概率模型的泛化能力和 Bayes error rate 的下界；我们还展示了活动识别和时间分割的初步结果。

Feb, 2012

我们以具有未知均值的高斯分布的抽样为动机示例，通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数，同时通过与相应的抽样估计相结合，对于与数据分布之间的 Wasserstein-2 距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于 L2 准确评分估计假设的结果，以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。

Nov, 2023