在线拉普拉斯模型选择再探
探究 Bayesian 深度学习中用于估计模型不确定性的线性化拉普拉斯方法,并评估其在模型选择方面的假设,并提出了针对现代深度学习更好的适应性建议。
Jun, 2022
介绍了 Kronecker 因式分解的在线 Laplace 近似方法,用于克服神经网络中的灾难性遗忘问题,该方法建立在贝叶斯在线学习框架的基础上,以高斯分布递归逼近后验概率,通过计算模牛顿法到达二阶导近似,利用 K-FAC 近似方法实现可扩展性,50 个 MNIST 图像数字识别测试中达到 90% 的准确率,明显优于其他相关方法。
May, 2018
本研究介绍了一种基于贝叶斯模型选择和拉普拉斯逼近的方法,通过引入下界到边缘似然的线性化拉普拉斯逼近,用于选择深度学习的超参数优化,该方法可以使用随机梯度基于优化,并可以利用神经切向核估计。实验结果表明,该估计器可以显着加速基于梯度的超参数优化。
Jun, 2023
本文研究了线性化 - Laplace 近似在贝叶斯优化中的应用,探究了它在序列决策问题上的效用和灵活性,同时强调了可能出现的问题和局限性。
Apr, 2023
Bayesian 深度学习的不一致性引起了越来越多的关注,温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架,将 Bayesian 不一致性归因于模型规范不当和先验不足,提出了广义 Laplace 近似方法来获得高质量的后验分布。
May, 2024
本文介绍了一种基于高斯混合模型后验的预测方法,通过对独立训练的深度神经网络的拉普拉斯近似加权求和,可以缓解深度神经网络对离群值的过于自信预测问题,并在标准不确定性量化基准测试中与最先进的基准进行了比较。
Nov, 2021
本文介绍了一种叫做 Laplace approximation (LA) 的 Bayesian 神经网络逼近算法,该算法可以实现更好的不确定性估计和模型选择,并通过实验证明其在计算成本上具有优势。
Jun, 2021
本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法,重点关注广泛应用的 Laplace 近似及其变体。我们的研究发现,传统的拟合 Hessian 矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点,认为仅关注优化先验精度可以在超出分布检测中产生更准确的不确定性估计,并保持适度的校准度。此外,我们证明了这种特性与模型的训练阶段无关,而是与其内在性质相关。通过广泛的实验评估,我们证实了我们简化方法在超出分布领域中优于传统方法的优越性。
Dec, 2023
在该研究中,我们提出了一种利用拉普拉斯近似的替代框架,通过使用后验的曲率和网络预测来估计方差,既避免了计算和翻转黑塞矩阵的步骤,又能够在预训练网络中高效地进行。实验证明,相比于精确和近似黑塞矩阵,该方法表现相当,并具有良好的不确定性覆盖范围。
Mar, 2024
通过引入基于拉普拉斯近似的多种度量标准,我们解决了之前在高斯过程模型的模型选择中存在的性能和运行时间问题,并且在不损失计算速度的情况下,我们的度量标准在质量上与黄金标准动态嵌套采样相当,允许更快速、高质量地对高斯过程模型进行模型选择。
Mar, 2024