Jun, 2023

使用神经切向核的随机边缘似然梯度

HTML
PDF
TL;DR本研究介绍了一种基于贝叶斯模型选择和拉普拉斯逼近的方法，通过引入下界到边缘似然的线性化拉普拉斯逼近，用于选择深度学习的超参数优化，该方法可以使用随机梯度基于优化，并可以利用神经切向核估计。实验结果表明，该估计器可以显着加速基于梯度的超参数优化。
发现论文，激发创造
  • 训练速度和模型选择的贝叶斯视角

    从贝叶斯角度出发，通过线性模型的训练速度和边缘似然之间的联系揭示其两个主要见解，即模型的训练速度可以用来估计其边缘似然，同时在一定条件下，这个度量量可以预测线性模型组合中模型的相对权重，实验证明这种直觉在深层神经网络的无穷宽度限制和随机梯度下降的训练中也成立，我们的结果揭示了一个指向解释为什么使用随机梯度下降训练的神经网络会偏向于良好泛化的函数的有希望的新方向。

    Oct, 2020

  • 深度学习模型选择的可扩展边缘似然估计

    作为深度学习中模型选择的有前途的边际似然方法由于参数估计上的困难很少被使用。本研究提出了可伸缩的边缘似然估计方法，用于基于训练数据独立地选择超参数和网络结构。该方法建立在拉普拉斯方法和高斯牛顿逼近的黑塞矩阵的基础上，并在标准回归和图像分类数据集上表现优异。此外，该方法还能够在缺少验证数据（例如在非平稳设置中）时提高一般化性能。

    Apr, 2021

  • 拉普拉斯重现——无需费力的贝叶斯深度学习

    本文介绍了一种叫做 Laplace approximation (LA) 的 Bayesian 神经网络逼近算法，该算法可以实现更好的不确定性估计和模型选择，并通过实验证明其在计算成本上具有优势。

    Jun, 2021

  • L2M：基于优化驱动的二阶矩估计的实用后验拉普拉斯近似方法

    本文提出了一种新的方法（L2M），通过使用Adagrad等优化器已经估算出来的梯度二次矩来构造Laplace近似，而不需要计算曲率矩阵。该方法不需要改变模型或优化器，可以通过几行代码实现，并且不需要引入任何新的超参数。我们希望该方法能为深度神经网络的不确定性估计开辟新的研究方向。

    Jul, 2021

  • 贝叶斯模型选择，边缘似然和泛化

    这篇研究论文探讨了边缘似然估计在学习约束和假设检验方面的吸引力特性，以及在深度神经网络中超参数学习、神经结构搜索等方面的一些挑战，提出了条件边缘似然作为一种较为实用的修正方法，以更好地反应泛化能力。

    Feb, 2022

  • 将线性拉普拉斯模型证据应用于现代深度学习

    探究Bayesian深度学习中用于估计模型不确定性的线性化拉普拉斯方法，并评估其在模型选择方面的假设，并提出了针对现代深度学习更好的适应性建议。

    Jun, 2022

  • 在线拉普拉斯模型选择再探

    本文重新推导了在线 Laplace 方法，表明它们针对一种在模型选择问题中纠正了模态的 Laplace 证据的变分界。在线 Laplace 方法以及其纠正模态的版本在近乎平稳点上实现最优解，通过应用于UCI回归数据集，优化关键参数并防止过拟合，优于传统的早期停止方法。

    Jul, 2023

  • 贝叶斯深度学习中的无Hessian Laplace

    在该研究中，我们提出了一种利用拉普拉斯近似的替代框架，通过使用后验的曲率和网络预测来估计方差，既避免了计算和翻转黑塞矩阵的步骤，又能够在预训练网络中高效地进行。实验证明，相比于精确和近似黑塞矩阵，该方法表现相当，并具有良好的不确定性覆盖范围。

    Mar, 2024

  • 深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

    本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在ResNet-50和深度图像先验网络上进行了实验。

    Apr, 2024

  • FSP-Laplace：贝叶斯深度学习中拉普拉斯近似的函数空间先验

    我们提出一种基于拉普拉斯近似和高斯过程先验的方法，通过直接在函数空间中施加先验来解决深度网络中整体性误差估计的问题，并通过矩阵自由线性代数的高度可扩展方法获得改进的结果。

    Jul, 2024