贝叶斯模型选择，边缘似然和泛化
本文探讨了Bayesian网络中无监督与有监督模型选择领域的差异，观察到标准边际似然得分标准并不能很好地适用于有监督模型选择，对比实证分析发现Dawid的预测序列原则的方法可以在该领域中获得最佳结果。
Jan, 2013
使用贝叶斯较量的关键是无脊柱化，这可以提高现代深度神经网络的准确性和校准性，因为这些网络通常被数据欠规范，可以表示许多引人入胜但不同的解决方案。我们展示了深度集合提供了一个近似贝叶斯无脊柱化的有效机制，并提出了一种相关方法，通过在吸引盆地内进行无脊柱化来进一步提高预测分布，而不需要显着的开销。同时，我们还研究了模糊神经网络权重分布所隐含的函数先验，从概率的角度解释了这些模型的泛化性质。最后，我们提供了一个贝叶斯的视角来温和地校准预测分布。
Feb, 2020
此论文介绍了关于边际似然计算的最新进展, 以及与模型选择和假设检验相关的内容，包括概率模型的规范化常数计算，不合适先验的问题及可能的解决方案，理论比较和数字实验等。
May, 2020
从贝叶斯角度出发，通过线性模型的训练速度和边缘似然之间的联系揭示其两个主要见解，即模型的训练速度可以用来估计其边缘似然，同时在一定条件下，这个度量量可以预测线性模型组合中模型的相对权重，实验证明这种直觉在深层神经网络的无穷宽度限制和随机梯度下降的训练中也成立，我们的结果揭示了一个指向解释为什么使用随机梯度下降训练的神经网络会偏向于良好泛化的函数的有希望的新方向。
Oct, 2020
作为深度学习中模型选择的有前途的边际似然方法由于参数估计上的困难很少被使用。本研究提出了可伸缩的边缘似然估计方法，用于基于训练数据独立地选择超参数和网络结构。该方法建立在拉普拉斯方法和高斯牛顿逼近的黑塞矩阵的基础上，并在标准回归和图像分类数据集上表现优异。此外，该方法还能够在缺少验证数据（例如在非平稳设置中）时提高一般化性能。
Apr, 2021
本研究通过设计自定义的优化程序，提出一种新的较低的边缘似然下限，部分成功地在标准基准测试、低数据范围和医学图像数据集上进行了推理，但在 CIFAR10 数据集上表现出失败模式，该研究表明，当更复杂的逼近方法可用时，边缘似然是神经网络中不变性学习的有前途的方法之一。
Jun, 2021
本研究介绍了一种基于贝叶斯模型选择和拉普拉斯逼近的方法，通过引入下界到边缘似然的线性化拉普拉斯逼近，用于选择深度学习的超参数优化，该方法可以使用随机梯度基于优化，并可以利用神经切向核估计。实验结果表明，该估计器可以显着加速基于梯度的超参数优化。
Jun, 2023
介绍了一种名为边缘化模型（MaMs）的新的高维离散数据生成模型，通过明确建模所有诱导边际分布，提供可扩展和灵活的生成建模方法，具有可计算的似然度，并以单次神经网络正向传递的方式快速评估任意边际概率。该模型适用于特定概率（由未归一化（对数）概率函数，如能量函数或奖励函数指定）与学习分布匹配的能量训练任务，并在多个离散数据分布上展示出了显著的性能优势。
Oct, 2023