贝叶斯深度知识

NIPSJun, 2015

Bayesian Dark Knowledge

Anoop Korattikara, Vivek Rathod, Kevin Murphy, Max Welling

TL;DR本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。

Abstract

We consider the problem of bayesian parameter estimation for deep neural networks, which is important in problem settings where we may have little data, and/ or where we need accurate posterior predictive densities, e.g., for applications involving bandits or active learning. One simpl

bayesian parameter estimation deep neural networks online monte carlo methods posterior predictive density distilling

发现论文，激发创造

贝叶斯神经网络后验分布的对抗蒸馏

提出了对抗后验蒸馏框架，使用生成对抗网络 (GAN) 来压缩随机梯度 Langevin 动力学 (SGLD) 采样，使其在效率和精度方面都具有优势，能够将 Bayes 神经网络 (BNN) 应用于诸如异常检测、主动学习和对抗性攻击防御等细分领域

Jun, 2018

神经网络的自然 Langevin 动力学

在机器学习中，使用贝叶斯后验概率分布作为模型参数可以避免过度拟合，Stochastic gradient Langevin dynamics (SGLD) 是一种近似贝叶斯后验概率分布的算法，使用易于计算的 Fisher 矩阵近似，使用 Fisher 矩阵预处理可以用于大型神经网络中，并将 SGLD 与 dropout 类似的正则化技术相结合以减少过拟合。

Dec, 2017

深度神经网络的预条件随机梯度 Langevin 动力学

本研究提出并验证了使用自适应预处理与 SGLD 相结合的方法，在深度神经网络的训练中可以解决参数空间的病态和过拟合问题，并且在逻辑回归，前馈神经网络和卷积神经网络等模型上，表现出了最先进的性能。

Dec, 2015

深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。

Apr, 2024

随机梯度 langevin 动力学中的成员隐私特征

本文从成员隐私保护的角度出发，研究了 SGLD 算法的信息泄露性质，证明了 SGLD 算法能够在一定程度上防止训练数据集的信息泄露，同时实验结果验证了该算法在实际应用中不仅能够减少信息泄露，还能够提高深度神经网络的泛化能力。

Oct, 2019

使用 Langevin 动态实现神经网络差分隐私训练，并获得预测不确定性校准

通过将随机梯度 Langevin 动力学用于差分私有随机梯度下降，我们实现了更可靠的不确定性估计，在医学诊断等安全关键应用中具有重要意义。

Jul, 2021

深度神经网络中的贝叶斯后验到底有多好？

本文研究贝叶斯神经网络中后验概率的真实性及精度，通过 MCMC 抽样实验发现使用贝叶斯后验的预测性能显著不如基于 SGD 的点估计方法，并提出了一种 “冷后验” 的新方法，解释其使用背景及理论基础。本工作挑战了贝叶斯深度学习中关于精度估算的目标，提出从理解和探究 “冷后验” 方法优化神经网络性能入手。

Feb, 2020

使用双重随机 MCMC 学习深度生成模型

本文介绍了倍增随机梯度 MCMC 这一简单通用的方法，用于在折叠的连续参数空间中对深度生成模型进行（近似）贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务，还可以用于缺失数据的填充，且在性能方面优于许多现有的竞争对手。

Jun, 2015

具有主动学习用例的深度学习快速贝叶斯更新

针对新数据到来时重训练深度神经网络通常具有计算成本高的问题，因此本文提出了基于 Monte-Carlo 采样和最后一层 Laplace 逼近的贝叶斯更新方法，用于不同类型的贝叶斯神经网络，即 Dropout，Ensemble 和 SNGP，大规模评估研究表明该更新结合 SNGP 是昂贵重新训练的快速而有竞争力的替代方案。同时，将其用于不同顺序查询策略的精选性能的改进，以演示其在主动学习中的应用。

Oct, 2022

通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

Jun, 2020