本文探讨了Bayesian网络中无监督与有监督模型选择领域的差异,观察到标准边际似然得分标准并不能很好地适用于有监督模型选择,对比实证分析发现Dawid的预测序列原则的方法可以在该领域中获得最佳结果。
Jan, 2013
本文提出了一种贝叶斯方法,通过非标准变分推理框架在GP-LVM中近似积分出潜在变量,从而通过最大化解析较低下界的确切边缘似然来训练GP-LVM,在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
介绍了在 Gaussian 过程中引入卷积结构的方法,并构建了适用于卷积核的跨域诱导点逼近,利用较快但准确的后验推理获得卷积核的泛化利益,应用于多项研究中,其中通过边缘似然可进一步提高性能。
Sep, 2017
为了在监督学习任务中很好地推广训练数据,我们应该将不变性纳入模型结构中,并使用边际似然进行学习,我们通过高斯过程模型演示了这一点,并提出了一种包含不变性的高斯过程的变分推断方案。
Aug, 2018
本文分析比较了深度学习中两种广泛使用的处理不变性的方法:数据增强和特征平均,并针对其优缺点提出了相关理论结果和实验证明。其中,数据增强训练可以更好地估计风险和其梯度,并提供了PAC-Bayes泛化界;而特征平均可以在使用凸损失时降低泛化误差并收紧PAC-Bayes界。
May, 2020
从贝叶斯角度出发,通过线性模型的训练速度和边缘似然之间的联系揭示其两个主要见解,即模型的训练速度可以用来估计其边缘似然,同时在一定条件下,这个度量量可以预测线性模型组合中模型的相对权重,实验证明这种直觉在深层神经网络的无穷宽度限制和随机梯度下降的训练中也成立,我们的结果揭示了一个指向解释为什么使用随机梯度下降训练的神经网络会偏向于良好泛化的函数的有希望的新方向。
Oct, 2020
作为深度学习中模型选择的有前途的边际似然方法由于参数估计上的困难很少被使用。本研究提出了可伸缩的边缘似然估计方法,用于基于训练数据独立地选择超参数和网络结构。该方法建立在拉普拉斯方法和高斯牛顿逼近的黑塞矩阵的基础上,并在标准回归和图像分类数据集上表现优异。此外,该方法还能够在缺少验证数据(例如在非平稳设置中)时提高一般化性能。
Apr, 2021
本文提出了一种新颖的贝叶斯神经网络架构,可以通过推断不同权重共享方案的后验分布来仅从数据中学习不变性。当在包含特定不变性的数据集上进行训练时,我们的模型优于其他不变变体的结构。没有进行数据增强时同样成立。
Jul, 2021
该研究提出了一种基于贝叶斯模型选择的方便的、基于梯度的方法,用于选择数据增强,该方法被成功应用于图像数据集,以提高深度神经网络的泛化能力和数据效率。
Feb, 2022
这篇研究论文探讨了边缘似然估计在学习约束和假设检验方面的吸引力特性,以及在深度神经网络中超参数学习、神经结构搜索等方面的一些挑战,提出了条件边缘似然作为一种较为实用的修正方法,以更好地反应泛化能力。