ICLRMar, 2018

Flipout: 小批量高效的伪独立权重扰动算法

PDF
TL;DR该研究介绍一种有效的方法 ——Flipout 可以使得独立的权重扰动在每一个实例上进行采样，从而可以减小大规模 minibatch 的方差，并且可以在训练 LSTM 等神经网络时进行优化，同时可以替代现有方法用于演化策略。
stochastic neural net weightsflipoutmini-batchvariance reductionevolution strategies
发现论文，激发创造
  • RandomOut：使用卷积梯度范数来修复卷积滤波器

    本研究提出了一种名为 RandomOut 的方法，通过使用梯度范数评估卷积滤波器对误差的影响并替换对预测影响较小的特定卷积滤波器，从而在不增加网络大小的情况下增加探索的滤波器数量，从而提高了 28x28 Inception-V3 模型的准确率，并使其有更加一致的泛化性能。

    Feb, 2016

  • Shakeout: 一种新的正则化深度神经网络训练方法

    本研究介绍一种新的正则化训练方法：Shakeout，通过随机增强或反转每个单元对下一层的影响，Shakeout 相比于传统的 Dropout 在图像分类 MNIST，CIFAR-10 和 ImageNet 的实验中表现更好，可以有效避免过拟合，产生更稀疏的权重，以及减少深度神经网络训练过程的不稳定性。

    Apr, 2019

  • GFlowOut: 基于生成性流网络的 Dropout

    本研究旨在提出一种名为 GFlowOut 的方法，利用生成性流网络（GFlowNets）的概率框架来学习丢弃掩码的后验分布，并解决用传统变分推断方法来估算高度多模式后验分布及利用样本相关信息的困难，最终实验证明 GFlowOut 的预测分布具有更好的泛化性和提供更好的不确定性估计。

    Oct, 2022

  • SmoothOut: 消除深度学习中的尖峰最小值以提高泛化能力

    本研究提出了 SmoothOut 框架，通过注入噪声来平滑深度神经网络中的锐利极小值，从而提高了广义泛化性能。在实验中，SmoothOut 和 AdaSmoothOut 在小批量和大批量训练中均稳定提高了广义化能力。

    May, 2018

  • NoiseOut: 一种简单的神经网络剪枝方法

    本文提出了一种全自动剪枝算法 NoiseOut，该算法基于隐藏层神经元的激活相关性，并证明增加完全随机目标的输出神经元会导致神经元之间的更高相关性，从而使 NoiseOut 剪枝更加有效。通过在各种网络和数据集上进行实验，表明该方法具有高剪枝率，同时保持原始网络的精度。

    Nov, 2016

  • 通过随机保留隐藏层激活来规范化 RNNs 的 Zoneout 方法

    本文提出了一种名为 zoneout 的新型 RNN 正则化方法，其通过异步化一部分隐藏单元来提高模型的泛化能力，并在字符和词级语言建模的任务中获得了竞争性的结果。

    Jun, 2016

  • Swapout：学习深度网络集成

    Swapout 是一种新的随机训练方法，比相同网络结构的 ResNets 表现更好，能够在 CIFAR-10 和 CIFAR-100 数据集上实现最先进的准确性，既可以作为正则化方法禁止层中单元的共适应，也可以作为集成训练方法从丰富的体系结构中进行采样。

    May, 2016

  • 深度自编码器权重扰动在表格数据压缩和分类中的应用

    本文提出了周期性扰动深度神经网络权重的方法，尤其是在深度自动编码器的自监督预训练阶段。该方法在表格数据分类任务中比 dropout 方法表现更好，并可用于压缩深度预训练模型。此外，本文揭示了深度模型在表格数据集中的成功归因于真实世界数据集中必然存在的相关变量。

    May, 2022

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 利用概率最大化单元优化深度神经网络

    提出了一种概率版本的 maxout 单元，该单元采用一组线性变换的池化操作，具有可以改进的不变性特性，在三项具有挑战性的图像分类基准测试中，表现优异，证明了本文提出的 probout 单元是有效的。

    Dec, 2013