ICMLJan, 2017

变分 Dropout 稀疏深度神经网络

PDF
TL;DR本研究采用变分丢失技术，提供了一种优雅的高斯丢失的贝叶斯解释，将其扩展到丢失速率无界的情况，提出一种减少梯度估计器方差的方法，并在每个权重的情况下报告第一个实验结果。有趣的是，在完全连接和卷积层中都导致极度稀疏的解决方案。这种效应类似于实证贝叶斯中的自动相关确定效应，但具有许多优势。我们在 LeNet 架构上将参数减少了最多 280 倍，并在类似 VGG 的网络上将参数减少了最多 68 倍，同时准确度几乎不减。
发现论文，激发创造
  • 依赖变分 Beta-Bernoulli Dropout 的自适应网络稀疏化

    我们提出了一种自适应的变分 dropout 方法，在此方法中使每个神经元进化为通用或特定于某些输入，或完全被删除，以允许网络耐受更大程度的稀疏性，同时消除功能中冗余项，我们在多个公共数据集上验证了我们的依赖性变分 beta-Bernoulli dropout 方法，并获得比基准方法更紧凑的网络，其中在基本网络上保持准确性。

    May, 2018

  • 循环神经网络的贝叶斯稀疏化

    本文通过采用稀疏变分 dropout 技术和二元变分 dropout 技术，对循环神经网络进行稀疏化处理，并在情感分析和语言建模任务中取得了较高的稀疏度和较低的信息损失。

    Jul, 2017

  • 变分贝叶斯的 dropout: 陷阱与修正

    将 Dropout 重新解释为贝叶斯神经网络的近似推理算法，提出了一个有用的理论框架，但对于使用不当的先验概率，存在未定义或病态行为的真后验分布问题；对于近似分布相对于真后验分布的奇异性而言，近似难以定义。为了解决这些问题，提出了 Quasi-KL（QKL）差异作为新的近似推理目标。

    Jul, 2018

  • 变分高斯丢弃不具备贝叶斯性质

    该研究揭示了用于确定性神经网络训练的高斯乘性噪声技术在贝叶斯神经网络的近似推论中存在问题，且相关权重噪声近似存在着过度拟合的风险，并提出了非贝叶斯视角下的目标函数及其解析形式，并讨论了相关的深入研究方向。

    Nov, 2017

  • 变分 Dropout 和局部重参数化技巧

    本文探讨了一种局部重参数技术来大大减少变分贝叶斯推断（SGVB）的随机梯度方差，同时保留并行可行性，并且将全局参数的不确定性转化为本地噪声，本方法可以推广到更加灵活参数化的后验分布中，同时探究了一种与 dropout 的关联。

    Jun, 2015

  • 贝叶斯神经网络的结构化随机失活变分推断

    提出一种新颖的变分结构近似方法 (VSD)，它通过引入正交变换来学习可信复杂度的变分高斯噪声上的结构表示，并在近似后验中引入统计依赖性来解决 Variational Dropout 方法的问题，从而提高了先前 Variational dropout 方法的拟合精度和更好的泛化性能。

    Feb, 2021

  • 通过对数正态乘性噪声实现结构化贝叶斯剪枝

    这篇论文提出了一种基于 Bayesian 模型的 dropout 正则化方法，该方法将噪声注入神经元输出中以提供结构化稀疏性，从而去除计算图中的低 SNR 元素，并在多个深度神经结构中实现了显著的加速。

    May, 2017

  • 具有层次先验的变分贝叶斯 Dropout

    我们提出了一种新的名为 Variational Bayesian Dropout (VBD) 的泛化 Gaussian Dropout 方法，其利用分层先验来推断联合后验，以解决 Variational dropout 中的不恰当先验带来的不良影响，从而提高网络训练的规范能力和泛化性能，在分类和网络压缩任务中取得更优异的性能表现。

    Nov, 2018

  • 稀疏深度学习的高效变分推断及理论保证

    本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。

    Nov, 2020

  • Dropout 作为一种结构收缩先验

    研究了深度神经网络的 dropout 正则化并提出了一种新的框架来理解深度神经网络中的加性噪声。研究了多种不同噪声并导出了其等价性，进而使 dropout 的 Monte Carlo 训练目标逼近了边缘 MAP 估计。进一步基于这些洞见提出了一种新的收缩框架用于深度神经网络，并对两种改进后的推理策略在回归基准测试中进行了调查。

    Oct, 2018