MMJan, 2023

使用变分贝叶斯神经网络约束 N 体模拟的宇宙学参数

PDF
TL;DR本文介绍了基于深度学习的近似贝叶斯神经网络和多项式归一化流方法，应用于天体物理参数恢复，发现与标准贝叶斯神经网络和翻转估计器相比，该方法能够更好地提高预测性能和准确估计不确定性，缓解变分参数的误差引入，并得到更接近真实后验分布的预测分布，从而为使用网络提供更合理的预测分布。该方法提高了维度的灵活性，有助于恢复大量的天体物理参数。
deep learningbayesian neural networksmultiplicative normalizing flowsastrophysical parameter recoveryuncertainty quantification
发现论文，激发创造
  • 基于贝叶斯深度学习的修正引力宇宙体积

    使用具有不确定性估计的贝叶斯神经网络从修改引力模拟中提取宇宙学参数，优于传统神经网络的精确预测和校准不确定性估计

    Sep, 2023

  • 模型和参数不确定性下的贝叶斯神经网络变分推断

    本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

    May, 2023

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

    本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

    May, 2023

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 贝叶斯神经网络的后验分布是什么样子的？

    研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。

    Apr, 2021

  • 贝叶斯神经网络代理在贝叶斯优化中的研究

    研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。

    May, 2023

  • 可变贝叶斯神经网络的乘法归一化流

    本文将神经网络中的乘性噪声重新解释为辅助的随机变量，并将其引入贝叶斯神经网络的变分设置中。通过使用这种解释，我们展示了通过采用标准化流来改进近似后验估计的高效性和简单性，同时仍允许局部重新参数化和可计算较低的下界。通过实验证明，基于这种新近似方法的贝叶斯神经网络方法在预测准确性和不确定性方面都有显著提高。

    Mar, 2017

  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018

  • 任意非线性贝叶斯神经网络的小样本变分推断

    本研究通过仅使用 3 个确定性样本来传播统计矩，实现了对任意非线性网络层的统计矩传播，从而使得少样本变分推断成为可能，并将此方法应用于一种新的非线性激活函数，用于向 Bayesian 神经网络的输出节点注入物理先验信息。

    May, 2024