Feb, 2020

可学习的 Bernoulli Dropout 用于贝叶斯深度学习

PDF
TL;DR本文提出了可学习 Bernoulli dropout（LBD），它是一个新的模型无关的 dropout 方案，将 dropout 率视为参数，与其他模型参数一起联合优化，通过 Bernoulli dropout 的概率建模，LBD 实现了深度模型中更稳健的预测和不确定性量化。 与变分自编码器（VAEs）相结合时，LBD 可以实现灵活的半隐式后验表示，从而导致新的半隐式 VAE（SIVAE）模型。我们使用 Augment-REINFORCE-Merge（ARM）对与 dropout 参数训练相关的优化进行求解，这是一种无偏差和低方差的渐变估计器。我们在一系列任务上的实验表明，我们的方法相对于其他常用的 dropout 方案具有更优越的性能。总的来说，LBD 和 SIVAE 在图像分类和语义分割中提高了准确性和不确定性估计。此外，使用 SIVAE，我们可以在几个公共数据集上实现协作过滤器来进行隐式反馈的最先进的性能。
dropoutvariational auto-encoderssemi-implicit posterior representationsuncertainty quantificationarm
发现论文，激发创造
  • 具有层次先验的变分贝叶斯 Dropout

    我们提出了一种新的名为 Variational Bayesian Dropout (VBD) 的泛化 Gaussian Dropout 方法，其利用分层先验来推断联合后验，以解决 Variational dropout 中的不恰当先验带来的不良影响，从而提高网络训练的规范能力和泛化性能，在分类和网络压缩任务中取得更优异的性能表现。

    Nov, 2018

  • BADDr: 基于贝叶斯适应性的深度 Dropout RL 用于 POMDPs

    本文提出了一种表示无关的、针对部分可观测情况下的贝叶斯强化学习的理论框架，并提出了一种基于 dropout 网络的新方法 BADDr，旨在解决 BRL 方法在拓展性上存在的瓶颈，并证实其在处理规模较大的情况时的有效性。

    Feb, 2022

  • 基于潜在伯努利变量的自适应无参数鲁棒学习

    我们提出了一种高效的无参数方法，用于从受损训练集中进行统计学习。我们使用潜在的伯努利变量来确定受损和非受损样本，从而将鲁棒学习问题形式化为最大化似然函数，在其中对潜在变量进行边缘化处理。我们使用基于期望最大化的高效变分推断方法来解决由此产生的优化问题。所提出的方法通过自动推断损坏程度和识别异常值，同时添加最小的计算开销，胜过现有技术水平。我们在各种机器学习任务上展示了我们的鲁棒学习方法，包括在线学习和深度学习，在这些任务中，它表现出适应不同噪声水平和高预测准确性的能力。

    Dec, 2023

  • 变分 Dropout 稀疏深度神经网络

    本研究采用变分丢失技术，提供了一种优雅的高斯丢失的贝叶斯解释，将其扩展到丢失速率无界的情况，提出一种减少梯度估计器方差的方法，并在每个权重的情况下报告第一个实验结果。有趣的是，在完全连接和卷积层中都导致极度稀疏的解决方案。这种效应类似于实证贝叶斯中的自动相关确定效应，但具有许多优势。我们在 LeNet 架构上将参数减少了最多 280 倍，并在类似 VGG 的网络上将参数减少了最多 68 倍，同时准确度几乎不减。

    Jan, 2017

  • 贝叶斯神经网络的结构化随机失活变分推断

    提出一种新颖的变分结构近似方法 (VSD)，它通过引入正交变换来学习可信复杂度的变分高斯噪声上的结构表示，并在近似后验中引入统计依赖性来解决 Variational Dropout 方法的问题，从而提高了先前 Variational dropout 方法的拟合精度和更好的泛化性能。

    Feb, 2021

  • 贝叶斯鼓励辍学

    从贝叶斯的角度阐述了 dropout 的作用以及其对权重参数学习与预测的优化，实验证明了 dropout 的优化具有积极效果。

    Dec, 2014

  • 依赖变分 Beta-Bernoulli Dropout 的自适应网络稀疏化

    我们提出了一种自适应的变分 dropout 方法，在此方法中使每个神经元进化为通用或特定于某些输入，或完全被删除，以允许网络耐受更大程度的稀疏性，同时消除功能中冗余项，我们在多个公共数据集上验证了我们的依赖性变分 beta-Bernoulli dropout 方法，并获得比基准方法更紧凑的网络，其中在基本网络上保持准确性。

    May, 2018

  • Dropout 作为贝叶斯近似：在深度学习中表示模型不确定性

    本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

    Jun, 2015

  • 单次 MC Dropout 近似

    该研究旨在通过一种单次 MC 退火的方法来提高贝叶斯变体深度神经网络的测试时间，同时保持不确定性测量的优点。经过基准测试和模拟游戏等方面的验证，该方法能够在实时部署 BDNNs 时实现预测分布的点估计和不确定性估计。

    Jul, 2020

  • 通过采样强健地表示深度神经网络中的不确定性

    本研究测试了 Bernoulli 和 Gaussian 多元噪声采样的权重分别采用 multiplier masking 和 dropconnect 所训练出的神经元网络在 MNIST 和 CIFAR-10 数据集上的概率预测矫正性能。结论表明，在进行预测时进行 Bernoulli dropout 和 Gaussian dropconnect 的并行采样，可以得到 Spike-and-slab 变分分布，避免增加所学参数数量的同时，获得比 Bernoulli dropout 和 Gaussian dropconnect 都更准确和稳健的表征结果。

    Nov, 2016