Oct, 2020

基于子网络推断的贝叶斯深度学习

HTML
PDF
TL;DR本文介绍一种基于子网络推断框架和线性Laplace逼近的贝叶斯深度学习方法，用于提高深度神经网络的预测精度和有效性。在子网络中推断出如此表达力强大的后验逼近，该方法得以比全网络的后验逼近和Ensembles方法实现更好的效果。
发现论文，激发创造
  • 贝叶斯超网络

    本论文介绍了Bayesian hypernetworks这一神经网络近似贝叶斯推断的框架，并通过可逆的变换实现了对其他神经网络参数的高效估计及其复杂后验分布多模式近似。实际应用表明，Bayesian hypernets能够比dropout更好地抵御对抗样本攻击，并在正则化、主动学习和异常检测等一系列任务上表现出竞争力。

    Oct, 2017

  • 深度神经网络中的贝叶斯后验到底有多好？

    本文研究贝叶斯神经网络中后验概率的真实性及精度，通过 MCMC 抽样实验发现使用贝叶斯后验的预测性能显著不如基于 SGD 的点估计方法，并提出了一种“冷后验”的新方法，解释其使用背景及理论基础。本工作挑战了贝叶斯深度学习中关于精度估算的目标，提出从理解和探究“冷后验”方法优化神经网络性能入手。

    Feb, 2020

  • 即使轻微地贝叶斯化，也能修复ReLU网络中的过度自信

    本文提出了一种基于贝叶斯推断的神经网络未来预测方法，该方法通过对ReLU网络权重进行近似高斯分布的理论分析和实验验证，同时发现了使用简单的贝叶斯近似方法可以解决ReLU网络的过度自信问题。

    Feb, 2020

  • 贝叶斯神经网络和深高斯过程的全局诱导点变分后验

    本研究涉及Bayesian神经网络和深度高斯过程的研究，并提出了一种用于权重的近似后验方法，使用了全局诱导点以及深度高斯过程。此方法取得了现有最优性能，无需数据增强或加温，达到了86.7％的CIFAR-10的结果，可与Wenzel等人的SGMCMC相媲美。

    May, 2020

  • 利用对称性在贝叶斯神经网络中实现有效的MCMC采样

    本研究旨在推广利用深度神经网络中的对称性，在保证不影响功能输出的前提下优化贝叶斯推断过程，并进一步给出适当的蒙特卡罗采样次数的上限来捕捉功能多样性，最终成功实现高效的贝叶斯不确定性量化。

    Apr, 2023

  • 朴素贝叶斯深度学习的崩溃推理

    提出一种新的Bayesian深度学习方案，使用collapsed samples进行贝叶斯模型平均，从而平衡神经网络的可扩展性和准确性，并利用现有的体积计算求解器解决选取部分权重采样，从而达到提高样本效率的目的，并在各种回归和分类任务中实现了显着的改进，推动了不确定性预测和预测性能的新水平。

    Jun, 2023

  • 基于对称性的贝叶斯神经网络后验探索

    该论文研究了现代深度神经网络的权重分布，探讨了深度贝叶斯神经网络后验分布的优化途径、后验质量和不确定性量化的关系、后验中模态的影响和可视化方法，以及权重空间对后验的对称性，并发布了大规模检查点数据集和代码，以帮助改进对贝叶斯后验的理解。

    Oct, 2023

  • 深度贝叶斯模型的改进变分推理

    深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

    Jan, 2024

  • 深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

    本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在ResNet-50和深度图像先验网络上进行了实验。

    Apr, 2024

  • 深度弱非线性网络的贝叶斯推断

    在大量训练数据、输入维度、网络层宽度和网络深度同时很大的情况下，我们展示了贝叶斯推断与全连接神经网络和形状非线性的关系，并提供了计算模型证据和后验的技术，结果表明神经网络贝叶斯推断与使用核函数的贝叶斯推断相一致，当网络层宽度大于深度和训练集大小时，神经网络贝叶斯推断的深度是一个有效的参数。

    May, 2024