NIPSMay, 2016

Swapout：学习深度网络集成

PDF
TL;DRSwapout 是一种新的随机训练方法，比相同网络结构的 ResNets 表现更好，能够在 CIFAR-10 和 CIFAR-100 数据集上实现最先进的准确性，既可以作为正则化方法禁止层中单元的共适应，也可以作为集成训练方法从丰富的体系结构中进行采样。
swapoutstochastic trainingresnetsregularization methodensemble training
发现论文，激发创造
  • Shakeout: 一种新的正则化深度神经网络训练方法

    本研究介绍一种新的正则化训练方法：Shakeout，通过随机增强或反转每个单元对下一层的影响，Shakeout 相比于传统的 Dropout 在图像分类 MNIST，CIFAR-10 和 ImageNet 的实验中表现更好，可以有效避免过拟合，产生更稀疏的权重，以及减少深度神经网络训练过程的不稳定性。

    Apr, 2019

  • Maxout 网络

    该研究提出了一种名为 maxout 的新型神经网络结构，它可以利用所谓的 dropout 技术中的近似模型平均方法进行优化，并提高快速近似模型平均方法的准确性，同时在四个基准数据集（MNIST，CIFAR-10，CIFAR-100 和 SVHN）上展示了最先进的分类性能。

    Feb, 2013

  • Shake-Shake 正则化

    本文介绍了一种替换标准分支求和的随机仿射组合方法，用于改善深度学习中过拟合问题，结合掷骰子正则化可提高 CIFAR-10 和 CIFAR-100 测试准确度，对于跳跃连接或批量归一化的架构也有鼓舞人心的结果，具有广泛的应用前景。

    May, 2017

  • 快照集成: 1 次训练，多个模型

    本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。

    Apr, 2017

  • 使用平衡的超级神经网络学习 CNN 池化架构

    通过分析 ResNet20 网络在 CIFAR10 实验数据集中使用不同 pooling 配置的训练性能，本文发现预定义下采样配置并非最优选择，可以通过神经网络架构搜索来优化。同时，本文建议采用平衡混合的 SuperNets，可以使权重模型自动关联池化配置，从而降低池化配置之间的权重共享和相互影响。实验结果表明，本文提出的方法在 CIFAR10、CIFAR100 和 Food101 数据集上都优于其他方法，并改善了默认池化配置的性能。

    Jun, 2023

  • Blockout: 面向分层深层网络的动态模型选择

    提出了 Blockout 方法，用于正则化和模型选择，同时学习了模型架构和参数，改进了分类准确性并更好地优化了表现。

    Dec, 2015

  • SMASH: 通过超网络进行单次模型架构搜索

    通过学习辅助超网络来加速深度神经网络架构的选择，提高相对验证性能以搜寻大范围的架构，结合基于内存读写的灵活机制，最终在多个数据集上取得竞争性能，称之为 SMASH 技术。

    Aug, 2017

  • 通过随机保留隐藏层激活来规范化 RNNs 的 Zoneout 方法

    本文提出了一种名为 zoneout 的新型 RNN 正则化方法，其通过异步化一部分隐藏单元来提高模型的泛化能力，并在字符和词级语言建模的任务中获得了竞争性的结果。

    Jun, 2016

  • 课程辍学

    本研究提出了一种名为 “课程退火” 的优化策略，通过逐渐在神经网络结构中添加噪声的方式，从而实施一种非常通用的课程方案，进而创造更好的模型。

    Mar, 2017

  • 深度残差学习中的 ShakeDrop 正则化

    本文提出了一种新的正则化方法 ShakeDrop 以缓解 ResNet 等深度神经网络结构的过拟合问题，并引入训练稳定器保持训练的稳定性，ShakeDrop 比 Shake-Shake 方法更为有效，并可适用于 ResNet、Wide ResNet 和 PyramidNet，本文还通过实验证明了 ShakeDrop 的良好性能。

    Feb, 2018