Dec, 2023

揭示拉普拉斯近似用于不确定性估计的经验病理

HTML
PDF
TL;DR本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法，重点关注广泛应用的Laplace近似及其变体。我们的研究发现，传统的拟合Hessian矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点，认为仅关注优化先验精度可以在超出分布检测中产生更准确的不确定性估计，并保持适度的校准度。此外，我们证明了这种特性与模型的训练阶段无关，而是与其内在性质相关。通过广泛的实验评估，我们证实了我们简化方法在超出分布领域中优于传统方法的优越性。
发现论文，激发创造
  • Laplace近似下的可学习不确定性

    本文提出一种方法来训练拉普拉斯逼近神经网络中的不确定性，介绍了用于拉普拉斯逼近网络的不确定性单元，并通过不确定性感知目标来训练这些单元，以提高在不同不确定性量化任务中的性能表现。

    Oct, 2020

  • 拉普拉斯重现——无需费力的贝叶斯深度学习

    本文介绍了一种叫做 Laplace approximation (LA) 的 Bayesian 神经网络逼近算法，该算法可以实现更好的不确定性估计和模型选择，并通过实验证明其在计算成本上具有优势。

    Jun, 2021

  • L2M：基于优化驱动的二阶矩估计的实用后验拉普拉斯近似方法

    本文提出了一种新的方法（L2M），通过使用Adagrad等优化器已经估算出来的梯度二次矩来构造Laplace近似，而不需要计算曲率矩阵。该方法不需要改变模型或优化器，可以通过几行代码实现，并且不需要引入任何新的超参数。我们希望该方法能为深度神经网络的不确定性估计开辟新的研究方向。

    Jul, 2021

  • 混合拉普拉斯逼近以改善深度学习后验不确定性

    本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。

    Nov, 2021

  • 将线性拉普拉斯模型证据应用于现代深度学习

    探究Bayesian深度学习中用于估计模型不确定性的线性化拉普拉斯方法，并评估其在模型选择方面的假设，并提出了针对现代深度学习更好的适应性建议。

    Jun, 2022

  • 在线拉普拉斯模型选择再探

    本文重新推导了在线 Laplace 方法，表明它们针对一种在模型选择问题中纠正了模态的 Laplace 证据的变分界。在线 Laplace 方法以及其纠正模态的版本在近乎平稳点上实现最优解，通过应用于UCI回归数据集，优化关键参数并防止过拟合，优于传统的早期停止方法。

    Jul, 2023

  • 通过对潜在表示进行高维度测试的自适应不确定性估计

    利用数据自适应高维假设检验的新框架对不确定性进行估计，通过对特征表示的统计特性进行测试，以提升对潜在表示中的不确定性的判别能力并实现更准确的不确定性估计，同时引入一种基于家族式测试的过程来确定ODD检测的最佳阈值，以最小化假阳性的发现率。

    Oct, 2023

  • 贝叶斯深度学习中的无Hessian Laplace

    在该研究中，我们提出了一种利用拉普拉斯近似的替代框架，通过使用后验的曲率和网络预测来估计方差，既避免了计算和翻转黑塞矩阵的步骤，又能够在预训练网络中高效地进行。实验证明，相比于精确和近似黑塞矩阵，该方法表现相当，并具有良好的不确定性覆盖范围。

    Mar, 2024

  • 广义拉普拉斯近似

    Bayesian深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将Bayesian不一致性归因于模型规范不当和先验不足，提出了广义Laplace近似方法来获得高质量的后验分布。

    May, 2024

  • FSP-Laplace：贝叶斯深度学习中拉普拉斯近似的函数空间先验

    我们提出一种基于拉普拉斯近似和高斯过程先验的方法，通过直接在函数空间中施加先验来解决深度网络中整体性误差估计的问题，并通过矩阵自由线性代数的高度可扩展方法获得改进的结果。

    Jul, 2024