Oct, 2023

关于 Feynman-Kac 训练的部分贝叶斯神经网络

PDF
TL;DR我们提出了一种有效的基于采样的训练策略，将 pBNN 的训练过程表述为模拟一个 Feynman-Kac 模型，并使用序贯蒙特卡洛采样器的变体来同时估计参数和这个模型的潜在后验分布，在各种合成和真实数据集上展示了我们提出的训练方案在预测性能方面优于最先进的方法。
partial bayesian neural networksstochastic parametersfeynman-kac modelsequential monte carlo samplerspredictive performance
发现论文，激发创造
  • Kalman 贝叶斯神经网络用于封闭形式的在线学习

    本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示，并与现有技术进行了比较。

    Oct, 2021

  • 贝叶斯神经网络的后验分布是什么样子的？

    研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。

    Apr, 2021

  • 基于完全贝叶斯神经网络的不连续和非稳态数据的主动学习

    主题：主动学习、概率替代模型、高斯过程、不连续性、完全贝叶斯神经网络；摘要：评估了完全贝叶斯神经网络在小数据条件下使用无 U-Turn 采样器进行主动学习任务的适用性和性能，突显了其增加物理科学问题相关测试函数的预测准确性和可靠性的潜力。

    May, 2024

  • 贝叶斯神经网络代理在贝叶斯优化中的研究

    研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。

    May, 2023

  • 利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

    本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

    May, 2023

  • 无需采样的贝叶斯量化神经网络学习

    该论文提出了 Bayesian quantized 网络（BQN），并引入了一系列有效算法，用于在离散参数上学习和预测，实现了对图像分类的有效完成。

    Dec, 2019

  • 任意非线性贝叶斯神经网络的小样本变分推断

    本研究通过仅使用 3 个确定性样本来传播统计矩，实现了对任意非线性网络层的统计矩传播，从而使得少样本变分推断成为可能，并将此方法应用于一种新的非线性激活函数，用于向 Bayesian 神经网络的输出节点注入物理先验信息。

    May, 2024

  • 去除置换对称性的贝叶斯神经网络紧凑表示

    该论文提出了一种基于贝叶斯神经网络的方法，使用 Hamitonian Monte Carlo 采样和 rebasin 方法，对神经网络的权重进行可解释的不确定性估计，从而实现了采样方法和变分推断的统一，可以直接比较不同采样方法和变分推断训练的神经网络，并利用来自 HMC 的不确定性估计逐渐修剪未使用显式贝叶斯框架训练的神经网络。

    Dec, 2023

  • 神经动力学机理模型的灵活统计推断

    本文提出了使用近似贝叶斯计算法 (ABC) 和神经网络来解决单个神经元动态机制模型的建立和参数估计中的挑战，旨在为神经科学家提供一种能够在复杂神经元模型上进行贝叶斯推断的方法。

    Nov, 2017

  • 模型和参数不确定性下的贝叶斯神经网络变分推断

    本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

    May, 2023