CVPRNov, 2018

具有层次先验的变分贝叶斯 Dropout

PDF
TL;DR我们提出了一种新的名为 Variational Bayesian Dropout (VBD) 的泛化 Gaussian Dropout 方法，其利用分层先验来推断联合后验，以解决 Variational dropout 中的不恰当先验带来的不良影响，从而提高网络训练的规范能力和泛化性能，在分类和网络压缩任务中取得更优异的性能表现。
variational bayesian dropoutnetwork trainingregularizationhierarchical priornetwork compression
发现论文，激发创造
  • 贝叶斯神经网络的结构化随机失活变分推断

    提出一种新颖的变分结构近似方法 (VSD)，它通过引入正交变换来学习可信复杂度的变分高斯噪声上的结构表示，并在近似后验中引入统计依赖性来解决 Variational Dropout 方法的问题，从而提高了先前 Variational dropout 方法的拟合精度和更好的泛化性能。

    Feb, 2021

  • 变分高斯丢弃不具备贝叶斯性质

    该研究揭示了用于确定性神经网络训练的高斯乘性噪声技术在贝叶斯神经网络的近似推论中存在问题，且相关权重噪声近似存在着过度拟合的风险，并提出了非贝叶斯视角下的目标函数及其解析形式，并讨论了相关的深入研究方向。

    Nov, 2017

  • 变分贝叶斯的 dropout: 陷阱与修正

    将 Dropout 重新解释为贝叶斯神经网络的近似推理算法，提出了一个有用的理论框架，但对于使用不当的先验概率，存在未定义或病态行为的真后验分布问题；对于近似分布相对于真后验分布的奇异性而言，近似难以定义。为了解决这些问题，提出了 Quasi-KL（QKL）差异作为新的近似推理目标。

    Jul, 2018

  • 可学习的 Bernoulli Dropout 用于贝叶斯深度学习

    本文提出了可学习 Bernoulli dropout（LBD），它是一个新的模型无关的 dropout 方案，将 dropout 率视为参数，与其他模型参数一起联合优化，通过 Bernoulli dropout 的概率建模，LBD 实现了深度模型中更稳健的预测和不确定性量化。 与变分自编码器（VAEs）相结合时，LBD 可以实现灵活的半隐式后验表示，从而导致新的半隐式 VAE（SIVAE）模型。我们使用 Augment-REINFORCE-Merge（ARM）对与 dropout 参数训练相关的优化进行求解，这是一种无偏差和低方差的渐变估计器。我们在一系列任务上的实验表明，我们的方法相对于其他常用的 dropout 方案具有更优越的性能。总的来说，LBD 和 SIVAE 在图像分类和语义分割中提高了准确性和不确定性估计。此外，使用 SIVAE，我们可以在几个公共数据集上实现协作过滤器来进行隐式反馈的最先进的性能。

    Feb, 2020

  • 变分 Dropout 稀疏深度神经网络

    本研究采用变分丢失技术，提供了一种优雅的高斯丢失的贝叶斯解释，将其扩展到丢失速率无界的情况，提出一种减少梯度估计器方差的方法，并在每个权重的情况下报告第一个实验结果。有趣的是，在完全连接和卷积层中都导致极度稀疏的解决方案。这种效应类似于实证贝叶斯中的自动相关确定效应，但具有许多优势。我们在 LeNet 架构上将参数减少了最多 280 倍，并在类似 VGG 的网络上将参数减少了最多 68 倍，同时准确度几乎不减。

    Jan, 2017

  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018

  • 变分 Dropout 和局部重参数化技巧

    本文探讨了一种局部重参数技术来大大减少变分贝叶斯推断（SGVB）的随机梯度方差，同时保留并行可行性，并且将全局参数的不确定性转化为本地噪声，本方法可以推广到更加灵活参数化的后验分布中，同时探究了一种与 dropout 的关联。

    Jun, 2015

  • 依赖变分 Beta-Bernoulli Dropout 的自适应网络稀疏化

    我们提出了一种自适应的变分 dropout 方法，在此方法中使每个神经元进化为通用或特定于某些输入，或完全被删除，以允许网络耐受更大程度的稀疏性，同时消除功能中冗余项，我们在多个公共数据集上验证了我们的依赖性变分 beta-Bernoulli dropout 方法，并获得比基准方法更紧凑的网络，其中在基本网络上保持准确性。

    May, 2018

  • 分布式变分推断在在线监督学习中的应用

    开发智能传感器网络推理问题的高效解决方案对于下一代位置、跟踪和地图服务至关重要。本文开发了一种适用于连续变量、难以处理的后验概率和大规模实时数据的可扩展分布式概率推理算法。

    Sep, 2023

  • 通过对数正态乘性噪声实现结构化贝叶斯剪枝

    这篇论文提出了一种基于 Bayesian 模型的 dropout 正则化方法，该方法将噪声注入神经元输出中以提供结构化稀疏性，从而去除计算图中的低 SNR 元素，并在多个深度神经结构中实现了显著的加速。

    May, 2017