Jun, 2024

近似贝叶斯推断中的重参化不变性

PDF
TL;DRBayesian 神经网络的近似后验在重新参数化下保持不变的问题被证明在线性化拉普拉斯近似中得到缓解。通过发展一种新的几何观点来解释线性化的成功，并利用 Riemann 扩散过程将这些重新参数化不变性扩展到原始神经网络预测，从而提出了一种简单的近似后验抽样算法，从而在实证中提高了后验拟合。
bayesian neural networksapproximate posteriorsreparameterizationlinearized laplace approximationriemannian diffusion process
发现论文，激发创造
  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 贝叶斯神经网络的黎曼拉普拉斯近似

    通过使用 Riemann 度量和自动微分等方法，我们提出了一种简单的参数近似后验分布，用于适应真实后验分布的形状，并解决了传统方法的局限性。

    Jun, 2023

  • 贝叶斯神经网络后验中的排列对称性：变分视角

    通过对近似贝叶斯神经网络（BNNs）的分析，扩展了边界损失和解决方案插值的形式，并提出了一种匹配算法来寻找线性连接的解决方案。实验证明，在各种体系结构和数据集上，线性连接的解决方案几乎没有边界损失。

    Oct, 2023

  • 模型和参数不确定性下的贝叶斯神经网络变分推断

    本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

    May, 2023

  • 广义拉普拉斯近似

    Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。

    May, 2024

  • 宽泛的贝叶斯神经网络具有简单的权重后验分布：理论和加速采样

    本研究提出了一种名为 'prior 重定向 ' 的方法，通过将贝叶斯神经网络后验变换为一种与 BNN 先验 KL 散度消失的分布，使用 prior 重定向，可以开发出更快的 MCMC 后验抽样算法，相较于未采用重参数化的标准 BNN，我们观测到全连接和残差网络的有效样本量最高可提高 50 倍。

    Jun, 2022

  • 通过局部线性化改进贝叶斯神经网络的预测

    本文提出了一种基于广义高斯牛顿近似方法的贝叶斯神经网络预测方法，将原始预测模型线性化为广义线性模型（GLM）后，用于后验推理和预测中，解决了拉普拉斯近似方法下的欠拟合问题。在多个标准分类数据集上以及外部分布检测中得到了验证。

    Aug, 2020

  • 具有连接切线核的尺度不变贝叶斯神经网络

    该研究提出了基于参数缩放的先验分布与后验分布的不变性解决神经网络中泛化与可靠性问题，避免了参数总体规模变化对网络泛化性能的影响，从而提高了 Laplace 对数似然近似算法的不确定性校准效果。

    Sep, 2022

  • 缓解非可辨识性对具有潜在变量的贝叶斯神经网络推断的影响

    该研究提出了一种利用贝叶斯神经网络和潜变量来准确捕捉模型不确定性的方法，并解决了该模型普遍存在的非识别性问题，并通过开发一种新的推断程序来提高预测准确性和不确定性估计。

    Nov, 2019

  • 过参数化非线性回归中的一致预测的贝叶斯推断

    通过贝叶斯框架探索超参数化非线性回归的预测特性，并在单神经元模型和广义线性模型中建立了后验缩固，展示了我们的方法在过参数化方案中实现了一致的预测。此外，我们的贝叶斯框架允许对预测进行不确定性估计。通过数值模拟和实际数据应用验证了我们的方法，展示了其实现准确预测和可靠不确定性估计的能力。

    Apr, 2024