通过局部线性化改进贝叶斯神经网络的预测
通过开发一种 Nystrom 近似方法来加速线性化变种 (Laplace Approximation) 和神经切向核 (NTKs) 之间的联系，以解决 Bayesian 神经网络中的非常规低效率问题。该方法通过自动区分前向模式来实现，具有可靠的理论保证，并在规模性和性能方面表现出许多优点。
Oct, 2022
研究了使用广义高斯 - 牛顿优化方法优化具有显式正则化的双层神经网络，通过考虑常用目标函数中惩罚项的光滑近似来提供自适应学习率选择技术，数值实验结果突出了广义自共轭正则化对优化后的神经网络泛化性能的改善方面。
Apr, 2024
本文介绍了一种新的 Gram-Gauss-Newton (GGN) 算法用于训练使用方形损失函数的深度神经网络，并借鉴了神经切线核（NTK）的想法。与典型的二阶方法相比，GGN 在每次迭代中只有小的开销。本文还给出了理论结果，证明对于足够广的神经网络，GGN 的收敛速度是二次的。此外，我们还提供了 mini-batch GGN 算法的收敛保证，这是我们知道的第一个关于超参数神经网络 mini-batch 版本的二阶方法的收敛结果。初步的实验表明，对于训练常规网络，我们的 GGN 算法比 SGD 收敛速度更快，性能更好。
May, 2019
本文研究了线性化 - Laplace 近似在贝叶斯优化中的应用，探究了它在序列决策问题上的效用和灵活性，同时强调了可能出现的问题和局限性。
Apr, 2023
使用深度前馈神经网络、广义线性模型和贝叶斯推断等方法，提出一种高精度的回归和分类方法，能够在原有方法中量化预测不确定性并进行变量选择，并在多种模拟和真实数据示例中得到了令人满意的结果。
May, 2018
本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。
Jun, 2019
Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。
May, 2024
本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示，并与现有技术进行了比较。
Oct, 2021
Bayesian 神经网络的近似后验在重新参数化下保持不变的问题被证明在线性化拉普拉斯近似中得到缓解。通过发展一种新的几何观点来解释线性化的成功，并利用 Riemann 扩散过程将这些重新参数化不变性扩展到原始神经网络预测，从而提出了一种简单的近似后验抽样算法，从而在实证中提高了后验拟合。
Jun, 2024