Dec, 2023

去除置换对称性的贝叶斯神经网络紧凑表示

PDF
TL;DR该论文提出了一种基于贝叶斯神经网络的方法，使用 Hamitonian Monte Carlo 采样和 rebasin 方法，对神经网络的权重进行可解释的不确定性估计，从而实现了采样方法和变分推断的统一，可以直接比较不同采样方法和变分推断训练的神经网络，并利用来自 HMC 的不确定性估计逐渐修剪未使用显式贝叶斯框架训练的神经网络。
bayesian neural networkspredictive uncertaintieshamiltonian monte carlorebasin methodweight space
发现论文，激发创造
  • 贝叶斯神经网络的后验分布是什么样子的？

    研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。

    Apr, 2021

  • 贝叶斯神经网络代理在贝叶斯优化中的研究

    研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。

    May, 2023

  • 贝叶斯神经网络后验中的排列对称性：变分视角

    通过对近似贝叶斯神经网络（BNNs）的分析，扩展了边界损失和解决方案插值的形式，并提出了一种匹配算法来寻找线性连接的解决方案。实验证明，在各种体系结构和数据集上，线性连接的解决方案几乎没有边界损失。

    Oct, 2023

  • 利用对称性在贝叶斯神经网络中实现有效的 MCMC 采样

    本研究旨在推广利用深度神经网络中的对称性，在保证不影响功能输出的前提下优化贝叶斯推断过程，并进一步给出适当的蒙特卡罗采样次数的上限来捕捉功能多样性，最终成功实现高效的贝叶斯不确定性量化。

    Apr, 2023

  • 基于对称性的贝叶斯神经网络后验探索

    该论文研究了现代深度神经网络的权重分布，探讨了深度贝叶斯神经网络后验分布的优化途径、后验质量和不确定性量化的关系、后验中模态的影响和可视化方法，以及权重空间对后验的对称性，并发布了大规模检查点数据集和代码，以帮助改进对贝叶斯后验的理解。

    Oct, 2023

  • 任意非线性贝叶斯神经网络的小样本变分推断

    本研究通过仅使用 3 个确定性样本来传播统计矩，实现了对任意非线性网络层的统计矩传播，从而使得少样本变分推断成为可能，并将此方法应用于一种新的非线性激活函数，用于向 Bayesian 神经网络的输出节点注入物理先验信息。

    May, 2024

  • 宽泛的贝叶斯神经网络具有简单的权重后验分布：理论和加速采样

    本研究提出了一种名为 'prior 重定向 ' 的方法，通过将贝叶斯神经网络后验变换为一种与 BNN 先验 KL 散度消失的分布，使用 prior 重定向，可以开发出更快的 MCMC 后验抽样算法，相较于未采用重参数化的标准 BNN，我们观测到全连接和残差网络的有效样本量最高可提高 50 倍。

    Jun, 2022

  • 朴素贝叶斯深度学习的崩溃推理

    提出一种新的 Bayesian 深度学习方案，使用 collapsed samples 进行贝叶斯模型平均，从而平衡神经网络的可扩展性和准确性，并利用现有的体积计算求解器解决选取部分权重采样，从而达到提高样本效率的目的，并在各种回归和分类任务中实现了显着的改进，推动了不确定性预测和预测性能的新水平。

    Jun, 2023

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 关于 Feynman-Kac 训练的部分贝叶斯神经网络

    我们提出了一种有效的基于采样的训练策略，将 pBNN 的训练过程表述为模拟一个 Feynman-Kac 模型，并使用序贯蒙特卡洛采样器的变体来同时估计参数和这个模型的潜在后验分布，在各种合成和真实数据集上展示了我们提出的训练方案在预测性能方面优于最先进的方法。

    Oct, 2023