深度学习模型选择的可扩展边缘似然估计

ICMLApr, 2021

深度学习模型选择的可扩展边缘似然估计

Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning

Alexander Immer, Matthias Bauer, Vincent Fortuin, Gunnar Rätsch, Mohammad Emtiyaz Khan

TL;DR作为深度学习中模型选择的有前途的边际似然方法由于参数估计上的困难很少被使用。本研究提出了可伸缩的边缘似然估计方法，用于基于训练数据独立地选择超参数和网络结构。该方法建立在拉普拉斯方法和高斯牛顿逼近的黑塞矩阵的基础上，并在标准回归和图像分类数据集上表现优异。此外，该方法还能够在缺少验证数据（例如在非平稳设置中）时提高一般化性能。

Abstract

marginal-likelihood based model-selection, even though promising, is rarely used in deep learning due to estimation difficulties. Instead, most approaches rely on validation data, which may not be readily availab

marginal-likelihood deep learning hyperparameters network architectures generalization

发现论文，激发创造

使用神经切向核的随机边缘似然梯度

本研究介绍了一种基于贝叶斯模型选择和拉普拉斯逼近的方法，通过引入下界到边缘似然的线性化拉普拉斯逼近，用于选择深度学习的超参数优化，该方法可以使用随机梯度基于优化，并可以利用神经切向核估计。实验结果表明，该估计器可以显着加速基于梯度的超参数优化。

Jun, 2023

使用近似边缘推断学习图模型参数

本文研究直接拟合参数以最大化预测边际准确性度量的方法，该方法考虑训练时间模型和推理近似。对成像问题的实验表明，边际化学习在拟合的模型近似的困难问题上比似然近似表现更好。

Jan, 2013

贝叶斯模型选择，边缘似然和泛化

这篇研究论文探讨了边缘似然估计在学习约束和假设检验方面的吸引力特性，以及在深度神经网络中超参数学习、神经结构搜索等方面的一些挑战，提出了条件边缘似然作为一种较为实用的修正方法，以更好地反应泛化能力。

Feb, 2022

不变性学习的最后一层边缘似然

本研究通过设计自定义的优化程序，提出一种新的较低的边缘似然下限，部分成功地在标准基准测试、低数据范围和医学图像数据集上进行了推理，但在 CIFAR10 数据集上表现出失败模式，该研究表明，当更复杂的逼近方法可用时，边缘似然是神经网络中不变性学习的有前途的方法之一。

Jun, 2021

深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。

Apr, 2024

利用边缘似然学习不变量

为了在监督学习任务中很好地推广训练数据，我们应该将不变性纳入模型结构中，并使用边际似然进行学习，我们通过高斯过程模型演示了这一点，并提出了一种包含不变性的高斯过程的变分推断方案。

Aug, 2018

贝叶斯深度知识

本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。

Jun, 2015

双向蒙特卡罗求解边缘似然

提出一种名为双向蒙特卡罗的技术，利用混合重要性采样或序列蒙特卡罗方法获得模型的准确对数边缘似然估计的随机下限和随机上限，并使用该方法获得的对数边缘似然估计真值对多种现有的最大似然估计器进行 quantitative 评估，并从中得出关于如何准确估计边缘似然估计的 insights。

Nov, 2015

利用线性矩估计间接监督

为解决间接监督问题中最大边缘似然性面临的两个计算障碍，本文提出了一种基于线性系统求解特定模型的充分统计量的方法，从而通过凸优化来估算参数。同时，本文阐述了该方法的统计特性，并通过在本地隐私约束条件和低成本计数注释双方面的实验表明了该方法的有效性。

Aug, 2016

高维广义线性模型中的鲁棒估计

该研究介绍了一种基于变换的确定性鲁棒初始估计方法及其对应的迭代加权最小二乘算法，用于解决存在异常值时基于最大似然估计的广义线性模型中初始估计不准确的问题。

Sep, 2017