Jun, 2023

朴素贝叶斯深度学习的崩溃推理

PDF
TL;DR提出一种新的 Bayesian 深度学习方案，使用 collapsed samples 进行贝叶斯模型平均，从而平衡神经网络的可扩展性和准确性，并利用现有的体积计算求解器解决选取部分权重采样，从而达到提高样本效率的目的，并在各种回归和分类任务中实现了显着的改进，推动了不确定性预测和预测性能的新水平。
bayesian neural networksinferencevolume computationcollapsed samplespredictive performance
发现论文，激发创造
  • 任意非线性贝叶斯神经网络的小样本变分推断

    本研究通过仅使用 3 个确定性样本来传播统计矩，实现了对任意非线性网络层的统计矩传播，从而使得少样本变分推断成为可能，并将此方法应用于一种新的非线性激活函数，用于向 Bayesian 神经网络的输出节点注入物理先验信息。

    May, 2024

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • Kalman 贝叶斯神经网络用于封闭形式的在线学习

    本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示，并与现有技术进行了比较。

    Oct, 2021

  • 通过贝叶斯学习深度神经网络结构来度量不确定性

    这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

    Nov, 2019

  • 协变量偏移下贝叶斯模型平均的危险性

    通过使用全批处理的哈密尔顿蒙特卡罗来近似推断的贝叶斯神经网络，在协变量转移下实现了良好的性能，但我们发现，贝叶斯模型平均在这种情况下可能会出现问题，特别是在输入特征中存在线性相关性导致后验收缩不足的情况下，我们提出了新的先验概率分布，以提高 BNN 对多种协变量转移的稳健性。

    Jun, 2021

  • 利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

    本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

    May, 2023

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 主题模型中的混合变分 / 吉布斯坍缩推理

    我们提出了一种混合算法，将 collapsed Gibbs 采样和 variational Bayesian 推断相结合，取得了显著的测试集困惑度改善，同时不增加计算成本。

    Jun, 2012

  • 模型和参数不确定性下的贝叶斯神经网络变分推断

    本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

    May, 2023

  • 去除置换对称性的贝叶斯神经网络紧凑表示

    该论文提出了一种基于贝叶斯神经网络的方法，使用 Hamitonian Monte Carlo 采样和 rebasin 方法，对神经网络的权重进行可解释的不确定性估计，从而实现了采样方法和变分推断的统一，可以直接比较不同采样方法和变分推断训练的神经网络，并利用来自 HMC 的不确定性估计逐渐修剪未使用显式贝叶斯框架训练的神经网络。

    Dec, 2023