May, 2024

基于完全贝叶斯神经网络的不连续和非稳态数据的主动学习

PDF
TL;DR主题：主动学习、概率替代模型、高斯过程、不连续性、完全贝叶斯神经网络；摘要：评估了完全贝叶斯神经网络在小数据条件下使用无 U-Turn 采样器进行主动学习任务的适用性和性能，突显了其增加物理科学问题相关测试函数的预测准确性和可靠性的潜力。
发现论文，激发创造
  • 贝叶斯神经网络在主动学习中的有效性

    本文研究使用贝叶斯神经网络进行主动学习，相较于集成技术更能有效地捕捉不确定性，拥有更好的模型效果，同时还揭示了集成技术的一些关键缺陷。

    Apr, 2021

  • 关于 Feynman-Kac 训练的部分贝叶斯神经网络

    我们提出了一种有效的基于采样的训练策略，将 pBNN 的训练过程表述为模拟一个 Feynman-Kac 模型，并使用序贯蒙特卡洛采样器的变体来同时估计参数和这个模型的潜在后验分布，在各种合成和真实数据集上展示了我们提出的训练方案在预测性能方面优于最先进的方法。

    Oct, 2023

  • 贝叶斯神经网络代理在贝叶斯优化中的研究

    研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。

    May, 2023

  • Kalman 贝叶斯神经网络用于封闭形式的在线学习

    本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示，并与现有技术进行了比较。

    Oct, 2021

  • 贝叶斯流网络在连续学习中的应用

    贝叶斯流网络（BFNs）作为通用生成建模的最有前景的方向之一，能够学习任何数据类型。我们深入研究了 BFNs 的机制，并进行了实验证明它在非平稳数据上的生成能力。

    Oct, 2023

  • 具有主动学习用例的深度学习快速贝叶斯更新

    针对新数据到来时重训练深度神经网络通常具有计算成本高的问题，因此本文提出了基于 Monte-Carlo 采样和最后一层 Laplace 逼近的贝叶斯更新方法，用于不同类型的贝叶斯神经网络，即 Dropout，Ensemble 和 SNGP，大规模评估研究表明该更新结合 SNGP 是昂贵重新训练的快速而有竞争力的替代方案。同时，将其用于不同顺序查询策略的精选性能的改进，以演示其在主动学习中的应用。

    Oct, 2022

  • 贝叶斯神经网络：简介和调查

    本研究介绍贝叶斯神经网络的实现方法，比较不同的近似推理方法，探讨如何在当前方法的基础上改进未来研究。

    Jun, 2020

  • 利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

    本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

    May, 2023

  • 基于脉冲神经网络的贝叶斯连续学习

    本文提出了一种基于贝叶斯持续学习框架，以及在线学习规则用于进行神经形态工程，以实现能够适应变化学习任务的特性和风险管理，同时产生良好校准的不确定性估计的真正的神经形态系统的设计。

    Aug, 2022

  • 贝叶斯感知机：迈向全贝叶斯神经网络

    本文提出了一种全新的方法，即基于贝叶斯推断框架通过闭式计算对感知机进行训练和预测，其中感知机的权重和预测被视作高斯随机变量，为常用的激活函数，如 sigmoid 或 ReLU 提供了预测感知机输出和学习权重的解析表达式，该方法不需要计算昂贵的梯度计算，进一步允许顺序学习。

    Sep, 2020