这篇研究论文探讨了边缘似然估计在学习约束和假设检验方面的吸引力特性，以及在深度神经网络中超参数学习、神经结构搜索等方面的一些挑战，提出了条件边缘似然作为一种较为实用的修正方法，以更好地反应泛化能力。

Feb, 2022

本文讨论了在隐变量模型中使用条件似然度和边缘似然度进行模型比较的问题，并通过比较条件和边缘 Deviance 信息标准和 Watanabe-Akaike 信息标准在心理测量建模中的应用来阐明了这些问题。建议在隐变量模型中普遍应用这些标准。

Feb, 2018

本文主要研究了 Bayesian model 的 Bayesian cross-validation 技术在高斯潜在变量模型中的应用，通过 Laplace method 或 expectation propagation 方法来估计与推断，旨在评估快速方法的准确性和可靠性。实证结果表明，基于 LOO 边缘分布（cavity distribution）的高斯近似法可获得最准确可靠结果。

Dec, 2014

本文探讨了 Bayesian 网络中无监督与有监督模型选择领域的差异，观察到标准边际似然得分标准并不能很好地适用于有监督模型选择，对比实证分析发现 Dawid 的预测序列原则的方法可以在该领域中获得最佳结果。

Jan, 2013

通过研究我们发现，在机器学习模型的性能评估中，交叉验证方法会引入分布偏差现象，导致性能评估及超参数优化受到负面影响。为了解决这个问题，我们提出了一个通用的校正分布偏差的交叉验证方法，并通过合成模拟和多个已发布的实验验证结果。

Jun, 2024

本文通过理论分析，证明了 Bayes 交叉验证损失与广泛适用信息准则的随机变量是等价的，并阐明了交叉验证误差和泛化误差之间的关系取决于学习机的代数几何结构。

Apr, 2010

提出一种名为双向蒙特卡罗的技术，利用混合重要性采样或序列蒙特卡罗方法获得模型的准确对数边缘似然估计的随机下限和随机上限，并使用该方法获得的对数边缘似然估计真值对多种现有的最大似然估计器进行 quantitative 评估，并从中得出关于如何准确估计边缘似然估计的 insights。

Nov, 2015

作为深度学习中模型选择的有前途的边际似然方法由于参数估计上的困难很少被使用。本研究提出了可伸缩的边缘似然估计方法，用于基于训练数据独立地选择超参数和网络结构。该方法建立在拉普拉斯方法和高斯牛顿逼近的黑塞矩阵的基础上，并在标准回归和图像分类数据集上表现优异。此外，该方法还能够在缺少验证数据（例如在非平稳设置中）时提高一般化性能。

Apr, 2021

模型推理是模型开发的重要部分，Leave-one-out 交叉验证方法在评估模型泛化能力方面普遍适用，但是不适用于大型数据集。我们提出了一种结合近似推理技术和大小为概率比例采样的方法，用于快速评估大型数据集的 LOO 模型，提供了理论和实证结果来说明其性能优良。

Apr, 2019

本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

Mar, 2018