NIPSNov, 2016

通过减弱训练来压缩神经网络分类器

PDF
TL;DR介绍了一种称为 Dropout Compression 的新型神经网络训练方法，可以在训练时实现大型模型中的 dropout 正则化性能提升，同时提取出紧凑型的神经网络以实现运行时效率，通过引入对单个神经元 dropout 保留概率的稀疏性先验，可以有效地在训练过程中修剪隐藏单元，并通过调整先验超参数来控制最终网络的大小，并在多个真实的语音识别任务中对丢失压缩和竞争方法进行了系统比较，结果显示，丢失压缩在保持相当准确性的情况下使用不到 50% 的隐藏单元，运行时间可以提速 2.5 倍。
发现论文，激发创造
  • 使用嵌套 Dropout 学习紧凑的卷积神经网络

    研究探讨了 Nested Dropout 在通过反向传播训练的卷积神经网络中的应用，以确定与所需精度和所需任务和数据复杂度相对应的最佳表示大小。

    Dec, 2014

  • 使用目标化 dropout 学习稀疏网络

    使用有针对性的 dropout 进行神经网络的训练，可以使网络更容易剪枝并且保持稀疏性。

    May, 2019

  • LayerCollapse：神经网络的自适应压缩

    利用 LayerCollapse 方法进行适应性模型压缩，通过消除网络中的非线性并将两个连续的全连接层合并为单个线性变换，同时减少层数和参数数量，提高模型效率；引入压缩感知正则化器，根据数据集质量和模型表现压缩模型，减少过拟合；实验证明 LayerCollapse 在多个细粒度分类基准测试中实现有效的压缩和正则化，最高在训练后压缩 74% 但准确度损失最小；与知识蒸馏方法对比，在 ImageNet 数据集上计算效率提高五倍，整体准确度提高 8%。

    Nov, 2023

  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • 正则化压缩神经网络的学习

    研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

    Feb, 2018

  • 改进的贝叶斯压缩

    本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

    Nov, 2017

  • DropNeuron：简化深度神经网络结构

    本研究提出了一种通过网络结构正则化来优化深度神经网络的新方法，在训练过程中简化神经网络可以在合理的计算时间内实现良好的性能，该方法在稀疏线性回归、深度自编码器和卷积神经网络等方面证明了出色的性能。

    Jun, 2016

  • 结构化丢弃降低 Transformer 深度

    本文介绍了一种新的结构化 dropout 形式 ——LayerDrop，该形式可在训练过程中实现正则化效果，在推理时允许有效的剪枝。作者通过实验证明了该方法对机器翻译、语言模型、文本摘要、问答和语言理解等基准测试的提升，并提出使用该方法可以得到更高质量的类 BERT 模型。

    Sep, 2019

  • 循环神经网络的贝叶斯稀疏化

    本文通过采用稀疏变分 dropout 技术和二元变分 dropout 技术，对循环神经网络进行稀疏化处理，并在情感分析和语言建模任务中取得了较高的稀疏度和较低的信息损失。

    Jul, 2017

  • 变分 Dropout 稀疏深度神经网络

    本研究采用变分丢失技术，提供了一种优雅的高斯丢失的贝叶斯解释，将其扩展到丢失速率无界的情况，提出一种减少梯度估计器方差的方法，并在每个权重的情况下报告第一个实验结果。有趣的是，在完全连接和卷积层中都导致极度稀疏的解决方案。这种效应类似于实证贝叶斯中的自动相关确定效应，但具有许多优势。我们在 LeNet 架构上将参数减少了最多 280 倍，并在类似 VGG 的网络上将参数减少了最多 68 倍，同时准确度几乎不减。

    Jan, 2017