利用狄利克雷过程似然方法将功能摘要信息纳入贝叶斯神经网络中

Jul, 2022

利用狄利克雷过程似然方法将功能摘要信息纳入贝叶斯神经网络中

Incorporating functional summary information in Bayesian neural networks using a Dirichlet process likelihood approach

Vishnu Raj, Tianyu Cui, Markus Heinonen, Pekka Marttinen

TL;DR本文提出了一种将先验知识通过外部摘要信息纳入贝叶斯神经网络中的简单方法，通过引入 Dirichlet 过程并推导相应的总结证据下限，将可用的摘要信息作为增广数据建模。使用本方法可以增强模型对分类任务难度和类别分布的了解，并在准确性、不确定性校准和对数据损坏的鲁棒性等方面表现良好。

Abstract

bayesian neural networks (BNNs) can account for both aleatoric and epistemic uncertainty. However, in BNNs the priors are often specified over the weights which rarely reflects true →

bayesian neural networks prior knowledge dirichlet process classification probabilities uncertainty

发现论文，激发创造

具备领域知识先验的贝叶斯神经网络

通过变分推理，提出了一种将通用形式的领域知识（通过损失函数表示）整合到贝叶斯神经网络先验中的框架，使得后验推断和抽样具有高效性，以提升预测性能。

Feb, 2024

贝叶斯神经网络初识：评述与争议

神经网络在各个问题领域取得了显著的表现，但其普适性受到其内在限制的阻碍，如预测上的过度自信、解释能力的欠缺和对对抗攻击的易受攻击性等。为了解决这些挑战，贝叶斯神经网络（BNNs）已成为传统神经网络的引人注目的扩展，在预测能力中整合了不确定性估计。本文系统地介绍了神经网络和贝叶斯推理的基本概念，阐明了它们对 BNNs 的协同集成的发展。目标受众包括具有贝叶斯方法背景但缺乏深度学习专业知识的统计学家，以及具有有限贝叶斯统计知识但精通深度神经网络的机器学习专家。我们概述了常用的先验知识，分析了它们对模型行为和性能的影响。此外，我们还深入探讨了在 BNN 研究领域内的先进主题，承认了不断进行的辩论和争议。通过提供对前沿发展的深入洞察，本文不仅为研究人员和实践者提供了 BNNs 方面的坚实基础，还展示了该动态领域的潜在应用。作为宝贵的资源，它促进对 BNNs 及其前景的理解，推动知识和创新的进一步发展。

Sep, 2023

模型和参数不确定性下的贝叶斯神经网络变分推断

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023

利用证据理论的深度学习进行分类不确定性量化

通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

贝叶斯神经网络推断的不确定性量化质量

本研究通过对 10 种常见的推断方法在回归和分类任务中的预测不确定性估计结果进行实证比较，发现常用的指标可能会导致误导，并表明为了得到高质量的后验逼近并不一定需要具有捕获后验结构的推断创新。

Jun, 2019

将未标记的数据融入贝叶斯神经网络中

使用对比学习框架，提出一种适用于未标记数据的贝叶斯神经网络（BNNs）的先验分布，得到自监督学习的标签效率和贝叶斯方法的规范不确定性估计，最后证明了该方法在半监督学习和低预算主动学习问题中的数据效率优势。

Apr, 2023

通过贝叶斯学习深度神经网络结构来度量不确定性

这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

Nov, 2019

基于后验正则化的贝叶斯神经网络融合软硬知识约束

本研究提出了将不同类型的知识约束作为后验正则化项，结合增广 Lagrangian 方法和现有的 BNN 求解器进行有效推理，进而改进传统 BNN 模型的性能，并通过模拟实验以及航空着陆预测和太阳能输出预测等两个案例表明新模型的性能提高。

Oct, 2022

具有权重通用先验的全连接贝叶斯神经网络的后验集中度

使用贝叶斯方法进行深度神经网络（BNNs）训练在广泛应用中受到了极大关注，并且已被有效地应用于各种情况。然而，大多数关于对 BNNs 的后验集中性质的研究仅在具有稀疏或重尾先验的 BNN 模型中证明结果。令人惊讶的是，目前还没有关于使用最常用的高斯先验进行 BNNs 的理论结果存在。这种理论缺乏是由于没有非稀疏且具有有界参数的深度神经网络（DNNs）的近似结果。在本文中，我们提出了一个新的近似理论，用于具有有界参数的非稀疏 DNNs。此外，基于该近似理论，我们表明具有非稀疏一般先验的 BNNs 可以以接近最小最优后验集中速率接近真实模型。

Mar, 2024

无标签数据改善协变量偏移下的贝叶斯不确定性校准

本研究提出了一种基于后验正则化的近似贝叶斯推断方案，可以用未标记的目标数据作为模型置信度的 “伪标签”，这些伪标签被用于调整标记源数据上的损失，显著提高了协变量移位数据集的不确定性量化准确性，适用于转移前瞻性前列腺癌模型在全球范围内的应用。

Jun, 2020