连接这些点：是模式连接性是贝叶斯神经网络中可行的基于样本的推断的关键吗？

Feb, 2024

连接这些点：是模式连接性是贝叶斯神经网络中可行的基于样本的推断的关键吗？

Connecting the Dots: Is Mode-Connectedness the Key to Feasible Sample-Based Inference in Bayesian Neural Networks?

Emanuel Sommer, Lisa Wimmer, Theodore Papamarkou, Ludwig Bothmann, Bernd Bischl...

TL;DR通过揭示权重和函数空间之间的特征关系，我们的研究表明在基于样本的贝叶斯神经网络推理中，成功采样方法是可能的，同时也揭示了超参数化与采样问题困难之间的系统联系。通过广泛实验，我们建立了采样和收敛诊断的实用指南。因此，我们提出了一种贝叶斯深度集成方法，作为一种性能竞争力和不确定性量化的有效解决方案。

Abstract

A major challenge in sample-based inference (SBI) for Bayesian neural networks is the size and structure of the networks' parameter space. Our work shows that successful SBI is possible by embracing the characteristic relationship between weight and function space, uncovering a systema

sample-based inference bayesian neural networks overparameterization sampling problem bayesian deep ensemble

发现论文，激发创造

贝叶斯神经网络在宇宙学中的鲁棒性基于仿真的推断

使用贝叶斯神经网络框架进行 SBI 的训练，涉及宇宙微波背景的推断，并引入 cosmoSWAG 以缓解数据迁移问题。

Jul, 2022

高效、准确、轻量级的基于高斯局部线性映射的连续仿真推理

使用结构化概率分布的混合模型，提供了逼真的后验推断，相较于基于神经网络的仿真推断方法，在计算上具有更小的足迹，对于具有复杂模型和难以计算的似然函数的贝叶斯推断提供了一个可行的选择。

Mar, 2024

SBI：基于模拟推断的工具包

文中介绍了一种基于神经网络的 SBI 算法，能够利用科学原理通过黑盒模拟器进行精确推断，并解决了单一最优解的限制，从而实现全参数空间后验分布的估计。

Jul, 2020

贝叶斯网络的高效抽样和结构学习

提出了一种新颖的混合方法，将基于约束和 MCMC 算法的两个领域结合起来，以高效地学习贝叶斯网络的有向无环图结构，并能对后验分布进行采样，从而实现全贝叶斯模型平均。

Mar, 2018

利用可微的覆盖概率校准神经仿真推断

引入校准项到神经模型的训练目标中，通过放松经典校准误差公式，我们提出了一种方法来解决现有算法对后验不确定性估计准确性的挑战，该方法适用于现有计算流程，实现可靠的黑盒后验推断，并在六个基准问题上经验证明具有竞争性或更好的结果。

Oct, 2023

贝叶斯神经网络中的结构部分随机性

提出了一种结构化的方法来选择确定性权重子集，以消除神经元置换对称性和相应的冗余后验模态，从而大大提高现有近似推理方案的性能。

May, 2024

基于对称性的贝叶斯神经网络后验探索

该论文研究了现代深度神经网络的权重分布，探讨了深度贝叶斯神经网络后验分布的优化途径、后验质量和不确定性量化的关系、后验中模态的影响和可视化方法，以及权重空间对后验的对称性，并发布了大规模检查点数据集和代码，以帮助改进对贝叶斯后验的理解。

Oct, 2023

贝叶斯随机块模型

本文介绍了利用贝叶斯推断从网络数据中提取大规模模块化结构的方法，重点介绍了基于随机块模型（SBM），以及其度修正和重叠推广。提供了一种允许防止过度拟合，实现模型选择的非参数公式。讨论了先验选择的方面，特别是如何通过加强贝叶斯层次结构来避免欠拟合，同时描述了执行单点估计和采样网络分区的有效算法。还展示了如何利用推断 SBM 来预测丢失和虚假链接，并揭示了网络中模块化结构可检测性的根本限制。

May, 2017

模型和参数不确定性下的贝叶斯神经网络变分推断

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023

网络人群的非参数贝叶斯建模

探讨了一种基于贝叶斯非参数方法的连接组学模型，通过混合模型降低维度并在每个混合组件中高效地整合网络信息，提高了对网络值随机变量概率质量函数的推断灵活性。

Jun, 2014