May, 2019

深度神经网络训练中对批量归一化和 Dropout 的再思考

PDF
TL;DR介绍了一种提高神经网络训练效率的新技术，该技术基于对神经网络输入进行白化处理以达到更快的收敛速度。通过结合 Dropout 和 Batch Normalization 实现独立成分层，该层优于基线方法，对 CIFAR10、100 和 ILSVRC2012 数据集有更稳定的训练过程，更快的收敛速度和更好的收敛极限，实现了对神经网络设计常规实践的重新思考。
neural networktraining efficiencyindependent-component layerbatch normalizationdropout
发现论文，激发创造
  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

    Feb, 2015

  • 通过卷积单元优化提升批量白化的泛化能力

    提出了一种新的卷积单元，可用于批处理美白，并且效果更好，使用迭代归一化并应用于五个图像分类数据集上，显着提高了性能和稳定性。

    Aug, 2021

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 深度卷积神经网络中有效高效的 dropout

    本文主要研究卷积神经网络（CNNs）的正则化问题，提出了几种改进的 dropout 变体，通过在卷积操作之前放置 dropout 操作或将 BN 替换为 GN，以减少 dropout 和其后的 BN 之间的矛盾，以提高 CNNs 的训练效果和正则化。实验证明，通过这些方法构建的 CNN 的性能明显优于现有的 CNN，这主要归功于更好的正则化和隐式模型集成效应。

    Apr, 2019

  • 无批归一化训练深度神经网络

    本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

    Aug, 2020

  • 使用嵌套 Dropout 学习紧凑的卷积神经网络

    研究探讨了 Nested Dropout 在通过反向传播训练的卷积神经网络中的应用，以确定与所需精度和所需任务和数据复杂度相对应的最佳表示大小。

    Dec, 2014

  • 去相关批量归一化

    本文提出了一种新的批量标准化方法 Decorrelated Batch Normalization（DBN），不仅可以中心化和缩放激活，还可以白化激活，通过多种白化技术的探索发现 ZCA 白化可以成功学习并且可以提高 BN 的性能和优化效率，具有双重优势。我们通过一系列实验展示了 DBN 改进了 BN 的性能并且在多层感知器和卷积神经网络上都可以提高准确性，还在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上增加了残余网络的准确率。

    Apr, 2018

  • 迭代归一化：从标准化走向高效白化

    本文提出了一种新的神经网络训练方法：Iterative Normalization，通过牛顿迭代实现高效且无矩阵分解的白化，同时引入 Stochastic Normalization Disturbance，增加实验的稳定性，实验表明 IterNorm 具有更好的优化与泛化折衷。

    Apr, 2019

  • 基于信息瓶颈方法探究有监督对比学习中的神经网络崩溃

    该研究使用信息瓶颈模型探究深度神经网络最终层激活几何学的神经崩溃现象，发现神经崩溃导致良好的泛化，且与对比学习中的最优特征有直接对应关系。

    May, 2023

  • 通过控制神经网络权重中的标签噪声信息来提高泛化能力

    研究发现，神经网络在存在噪声或不正确标签的情况下，往往会记住有关噪声的信息。为了减少这种记忆现象，提高泛化能力，本文提出使用一个辅助网络来训练，并利用 Shannon 互信息量化记忆的信息量。在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上验证了该算法的有效性。

    Feb, 2020