ICMLJun, 2018

贝叶斯神经网络后验分布的对抗蒸馏

PDF
TL;DR提出了对抗后验蒸馏框架，使用生成对抗网络 (GAN) 来压缩随机梯度 Langevin 动力学 (SGLD) 采样，使其在效率和精度方面都具有优势，能够将 Bayes 神经网络 (BNN) 应用于诸如异常检测、主动学习和对抗性攻击防御等细分领域
bayesian neural networksstochastic gradient langevin dynamicsadversarial posterior distillationgenerative adversarial networkmcmc-based bnns
发现论文，激发创造
  • 贝叶斯深度知识

    本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。

    Jun, 2015

  • 神经网络的自然 Langevin 动力学

    在机器学习中，使用贝叶斯后验概率分布作为模型参数可以避免过度拟合，Stochastic gradient Langevin dynamics (SGLD) 是一种近似贝叶斯后验概率分布的算法，使用易于计算的 Fisher 矩阵近似，使用 Fisher 矩阵预处理可以用于大型神经网络中，并将 SGLD 与 dropout 类似的正则化技术相结合以减少过拟合。

    Dec, 2017

  • 贝叶斯神经网络的后验分布是什么样子的？

    研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。

    Apr, 2021

  • 评估蒙特卡罗和蒸馏方法对深度贝叶斯神经网络分类的对抗鲁棒性

    本文考虑在 Markov chain Monte Carlo（MCMC）和 Bayesian Dark Knowledge（BDK）推断近似下评估深度神经网络模型对于对抗攻击的抵抗力的问题，并且比较了全 MCMC 推断和 BDK 对于快速梯度符号方法（FGSM）和投影梯度下降（PGD）两类对抗攻击的鲁棒性。结果表明，全 MCMC 推断具有出色的鲁棒性，显著优于标准点估计学习，而 BDK 提供了较小的提升，此外，我们还提出了一种存储效率高的方法，用于使用 FGSM 和 PGD 攻击计算大型蒙特卡罗集合的对抗性示例。

    Feb, 2020

  • 随机梯度 langevin 动力学中的成员隐私特征

    本文从成员隐私保护的角度出发，研究了 SGLD 算法的信息泄露性质，证明了 SGLD 算法能够在一定程度上防止训练数据集的信息泄露，同时实验结果验证了该算法在实际应用中不仅能够减少信息泄露，还能够提高深度神经网络的泛化能力。

    Oct, 2019

  • 自对抗学习贝叶斯采样

    本文提出一种新的自我对抗学习框架，用于通过学习条件生成器来生成高质量的样本，并自动学习马尔可夫内核的行为，从而逐渐逼近目标分布，从而在可扩展 Bayesian 采样和非监督深度学习模型等方面取得优势。

    Nov, 2018

  • 对抗消息传递用于图形模型

    本文提出了将生成式对抗网络（GANs）视为隐式模型的一种方法，基于生成器和判别器的相互作用弱化了显式的似然值评估，从而在有向无环图的结构模型中实现了贝叶斯后验推理和模型学习。

    Dec, 2016

  • 贝叶斯生成对抗网络

    本研究提出了基于贝叶斯公式的 GAN 模型，通过使用随机梯度哈密顿蒙特卡罗方法边缘化生成器和鉴别器网络的权重，在不需要特征匹配或使用小批量区分等标准干预的情况下，实现半监督和无监督的学习效果，避免了模式崩塌的问题，并在多个基准数据集上取得了最佳性能。

    May, 2017

  • 深度神经网络的预条件随机梯度 Langevin 动力学

    本研究提出并验证了使用自适应预处理与 SGLD 相结合的方法，在深度神经网络的训练中可以解决参数空间的病态和过拟合问题，并且在逻辑回归，前馈神经网络和卷积神经网络等模型上，表现出了最先进的性能。

    Dec, 2015

  • Adv-BNN: 基于鲁棒性贝叶斯神经网络的改进对抗防御

    提出了一种新算法，使用贝叶斯神经网络模型和模型分布的学习来训练神经网络以提高其对抗攻击的鲁棒性，在实验中取得了最先进的效果。

    Oct, 2018