Oct, 2023

基于对称性的贝叶斯神经网络后验探索

PDF
TL;DR该论文研究了现代深度神经网络的权重分布，探讨了深度贝叶斯神经网络后验分布的优化途径、后验质量和不确定性量化的关系、后验中模态的影响和可视化方法，以及权重空间对后验的对称性，并发布了大规模检查点数据集和代码，以帮助改进对贝叶斯后验的理解。
weights distributiondeep bayesian neural networksuncertainty quantificationposterior visualizationweight-space symmetries
发现论文，激发创造
  • 利用对称性在贝叶斯神经网络中实现有效的 MCMC 采样

    本研究旨在推广利用深度神经网络中的对称性，在保证不影响功能输出的前提下优化贝叶斯推断过程，并进一步给出适当的蒙特卡罗采样次数的上限来捕捉功能多样性，最终成功实现高效的贝叶斯不确定性量化。

    Apr, 2023

  • 贝叶斯神经网络后验中的排列对称性：变分视角

    通过对近似贝叶斯神经网络（BNNs）的分析，扩展了边界损失和解决方案插值的形式，并提出了一种匹配算法来寻找线性连接的解决方案。实验证明，在各种体系结构和数据集上，线性连接的解决方案几乎没有边界损失。

    Oct, 2023

  • 贝叶斯神经网络中的结构部分随机性

    提出了一种结构化的方法来选择确定性权重子集，以消除神经元置换对称性和相应的冗余后验模态，从而大大提高现有近似推理方案的性能。

    May, 2024

  • 去除置换对称性的贝叶斯神经网络紧凑表示

    该论文提出了一种基于贝叶斯神经网络的方法，使用 Hamitonian Monte Carlo 采样和 rebasin 方法，对神经网络的权重进行可解释的不确定性估计，从而实现了采样方法和变分推断的统一，可以直接比较不同采样方法和变分推断训练的神经网络，并利用来自 HMC 的不确定性估计逐渐修剪未使用显式贝叶斯框架训练的神经网络。

    Dec, 2023

  • 通过贝叶斯学习深度神经网络结构来度量不确定性

    这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

    Nov, 2019

  • 贝叶斯神经网络的后验分布是什么样子的？

    研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。

    Apr, 2021

  • 宽泛的贝叶斯神经网络具有简单的权重后验分布：理论和加速采样

    本研究提出了一种名为 'prior 重定向 ' 的方法，通过将贝叶斯神经网络后验变换为一种与 BNN 先验 KL 散度消失的分布，使用 prior 重定向，可以开发出更快的 MCMC 后验抽样算法，相较于未采用重参数化的标准 BNN，我们观测到全连接和残差网络的有效样本量最高可提高 50 倍。

    Jun, 2022

  • 关于深度贝叶斯神经网络后验的局部自适应可扩展扩散采样方法的收敛性

    深度神经网络的鲁棒性不确定性量化是许多深度学习应用的重要需求，贝叶斯神经网络是建模深度神经网络不确定性的一种有前景的方法，但从神经网络的后验分布中生成样本仍然是一个重大挑战。在本文中，我们展示了这些方法在采样分布时可能存在显著偏差，即使在步长趋近于零且批量大小足够大的情况下。

    Mar, 2024

  • 自由还是深度：深度贝叶斯神经网络不需要复杂的权重后验逼近

    通过理论证明和实验证明，我们挑战了长期以来人们对于贝叶斯神经网络变分推断中均场近似的局限性的假设，并表明在深度网络中并非如此。我们的结果表明，在复杂变分先验代价高且难以实现的情况下，使用均场变分推断在更深的模型中是一种实用且理论上可行的替代方法。

    Feb, 2020

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019