Oct, 2022

贝叶斯深度学习的加速线性化拉普拉斯近似

PDF
TL;DR通过开发一种 Nystrom 近似方法来加速线性化变种 (Laplace Approximation) 和神经切向核 (NTKs) 之间的联系，以解决 Bayesian 神经网络中的非常规低效率问题。该方法通过自动区分前向模式来实现，具有可靠的理论保证，并在规模性和性能方面表现出许多优点。
bayesian neural networkslaplace approximationlinearized variantgeneralized gauss-newton approximationneural tangent kernels
发现论文，激发创造
  • 贝叶斯优化中线性 Laplace 的优点与缺陷

    本文研究了线性化 - Laplace 近似在贝叶斯优化中的应用，探究了它在序列决策问题上的效用和灵活性，同时强调了可能出现的问题和局限性。

    Apr, 2023

  • 通过局部线性化改进贝叶斯神经网络的预测

    本文提出了一种基于广义高斯牛顿近似方法的贝叶斯神经网络预测方法，将原始预测模型线性化为广义线性模型（GLM）后，用于后验推理和预测中，解决了拉普拉斯近似方法下的欠拟合问题。在多个标准分类数据集上以及外部分布检测中得到了验证。

    Aug, 2020

  • 拉普拉斯重现 —— 无需费力的贝叶斯深度学习

    本文介绍了一种叫做 Laplace approximation (LA) 的 Bayesian 神经网络逼近算法，该算法可以实现更好的不确定性估计和模型选择，并通过实验证明其在计算成本上具有优势。

    Jun, 2021

  • 贝叶斯深度学习中的无 Hessian Laplace

    在该研究中，我们提出了一种利用拉普拉斯近似的替代框架，通过使用后验的曲率和网络预测来估计方差，既避免了计算和翻转黑塞矩阵的步骤，又能够在预训练网络中高效地进行。实验证明，相比于精确和近似黑塞矩阵，该方法表现相当，并具有良好的不确定性覆盖范围。

    Mar, 2024

  • 使用神经切向核的随机边缘似然梯度

    本研究介绍了一种基于贝叶斯模型选择和拉普拉斯逼近的方法，通过引入下界到边缘似然的线性化拉普拉斯逼近，用于选择深度学习的超参数优化，该方法可以使用随机梯度基于优化，并可以利用神经切向核估计。实验结果表明，该估计器可以显着加速基于梯度的超参数优化。

    Jun, 2023

  • 广义拉普拉斯近似

    Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。

    May, 2024

  • 拉普拉斯 - 近似神经加性模型：结合贝叶斯推理提高可解释性

    本文从贝叶斯角度探讨神经相加模型，并开发了实用的拉普拉斯近似方法。研究结果表明，使用该方法得到的神经相加模型可以提高表格回归和分类数据集以及现实世界医学任务的性能和解释性。

    May, 2023

  • 将线性拉普拉斯模型证据应用于现代深度学习

    探究 Bayesian 深度学习中用于估计模型不确定性的线性化拉普拉斯方法，并评估其在模型选择方面的假设，并提出了针对现代深度学习更好的适应性建议。

    Jun, 2022

  • 解决灾难性遗忘的在线结构拉普拉斯近似

    介绍了 Kronecker 因式分解的在线 Laplace 近似方法，用于克服神经网络中的灾难性遗忘问题，该方法建立在贝叶斯在线学习框架的基础上，以高斯分布递归逼近后验概率，通过计算模牛顿法到达二阶导近似，利用 K-FAC 近似方法实现可扩展性，50 个 MNIST 图像数字识别测试中达到 90% 的准确率，明显优于其他相关方法。

    May, 2018

  • 贝叶斯神经网络的黎曼拉普拉斯近似

    通过使用 Riemann 度量和自动微分等方法，我们提出了一种简单的参数近似后验分布，用于适应真实后验分布的形状，并解决了传统方法的局限性。

    Jun, 2023