ICMLOct, 2018

Dropout 作为一种结构收缩先验

PDF
TL;DR研究了深度神经网络的 dropout 正则化并提出了一种新的框架来理解深度神经网络中的加性噪声。研究了多种不同噪声并导出了其等价性，进而使 dropout 的 Monte Carlo 训练目标逼近了边缘 MAP 估计。进一步基于这些洞见提出了一种新的收缩框架用于深度神经网络，并对两种改进后的推理策略在回归基准测试中进行了调查。
dropout regularizationneural networksshrinkage priorsmonte carlo trainingresnets
发现论文，激发创造
  • 通过对数正态乘性噪声实现结构化贝叶斯剪枝

    这篇论文提出了一种基于 Bayesian 模型的 dropout 正则化方法，该方法将噪声注入神经元输出中以提供结构化稀疏性，从而去除计算图中的低 SNR 元素，并在多个深度神经结构中实现了显著的加速。

    May, 2017

  • 变分高斯丢弃不具备贝叶斯性质

    该研究揭示了用于确定性神经网络训练的高斯乘性噪声技术在贝叶斯神经网络的近似推论中存在问题，且相关权重噪声近似存在着过度拟合的风险，并提出了非贝叶斯视角下的目标函数及其解析形式，并讨论了相关的深入研究方向。

    Nov, 2017

  • 重新审视结构化 Dropout

    本文研究使用多个有构造性的 Dropout 方法在多个现代神经网络上进行自然语言处理和计算机视觉任务。我们提出了一种名为 ProbDropBlock 的方法，该方法可以提高模型的性能，并且已经在 RoBERTa 和 ImageNet 上得到验证。

    Oct, 2022

  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • Dropout 作为贝叶斯近似：附录

    采用随机失活（dropout）技术的神经网络可以被等效地表示为贝叶斯模型的一种逼近，该方法可以帮助我们更好地理解神经网络中的不确定性并将贝叶斯方法引入深度学习框架。

    Jun, 2015

  • Dropout 作为贝叶斯近似：在深度学习中表示模型不确定性

    本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

    Jun, 2015

  • 深度学习中网络结构和梯度收敛的相互作用

    研究了背景传播、深度网络、退出、参数收敛和特征去噪等方面的相互关系，提出了一种基于目标函数的反向传播收敛性分析框架，并通过实验验证了其正确性。

    Nov, 2015

  • 变分贝叶斯的 dropout: 陷阱与修正

    将 Dropout 重新解释为贝叶斯神经网络的近似推理算法，提出了一个有用的理论框架，但对于使用不当的先验概率，存在未定义或病态行为的真后验分布问题；对于近似分布相对于真后验分布的奇异性而言，近似难以定义。为了解决这些问题，提出了 Quasi-KL（QKL）差异作为新的近似推理目标。

    Jul, 2018

  • 贝叶斯神经网络的结构化随机失活变分推断

    提出一种新颖的变分结构近似方法 (VSD)，它通过引入正交变换来学习可信复杂度的变分高斯噪声上的结构表示，并在近似后验中引入统计依赖性来解决 Variational Dropout 方法的问题，从而提高了先前 Variational dropout 方法的拟合精度和更好的泛化性能。

    Feb, 2021

  • 关于结构化 Dropout 正则化特性的研究

    单层线性网络中，DropBlock 引入了谱 k-support 正则化，促使解具有低秩和等范数的因子。这个全局极小值可以用闭合形式计算。若在最后一层应用 Dropout，某些假设下此结果可扩展到 Dropout 策略的一般类和深度非线性网络中，并用经常使用的网络结构实验验证了理论结论和假设。

    Oct, 2019