通过卷积单元优化提升批量白化的泛化能力
本文研究批量白化(Batch Whitening),提供了一个可用于不同场景下的批量白化算法设计及比较框架,并通过 ImageNet 数据集分类和生成对抗网络训练的应用实践验证了所提出算法的有效性和稳定性。
Mar, 2020
本研究提出了一种名为 SWBN 的针对深度神经网络的新算法,该算法使用随机白化技术渐进估计白化矩阵,相较于 IterNorm 算法实现了更快的收敛和更好的泛化效果。在常规(大批量)图像分类和少样本分类任务上,经过综合实验和对比,显示出了 SWBN 方法的有效性。
Jun, 2021
本文提出了一种新的神经网络训练方法:Iterative Normalization,通过牛顿迭代实现高效且无矩阵分解的白化,同时引入 Stochastic Normalization Disturbance,增加实验的稳定性,实验表明 IterNorm 具有更好的优化与泛化折衷。
Apr, 2019
本文介绍了一种名为 Group Whitening 的新型批量归一化方法,该方法结合了白化方法和 Group Normalization 的优点,避免了普通批量归一化的缺点,并且从模型表征容量的角度,分析了批归一化的表征能力与批大小(组数)的关系,通过在 ResNet 和 ResNeXt 上的实验,验证了 Group Whitening 在不同架构中的性能优势。
Sep, 2020
本文提出了一种新的批量标准化方法 Decorrelated Batch Normalization(DBN),不仅可以中心化和缩放激活,还可以白化激活,通过多种白化技术的探索发现 ZCA 白化可以成功学习并且可以提高 BN 的性能和优化效率,具有双重优势。我们通过一系列实验展示了 DBN 改进了 BN 的性能并且在多层感知器和卷积神经网络上都可以提高准确性,还在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上增加了残余网络的准确率。
Apr, 2018
介绍了一种提高神经网络训练效率的新技术,该技术基于对神经网络输入进行白化处理以达到更快的收敛速度。通过结合 Dropout 和 Batch Normalization 实现独立成分层,该层优于基线方法,对 CIFAR10、100 和 ILSVRC2012 数据集有更稳定的训练过程,更快的收敛速度和更好的收敛极限,实现了对神经网络设计常规实践的重新思考。
May, 2019
探究神经网络中概念随层数变化的编码方式,引入概念白化机制(CW)对网络的中间层进行调整以更好地理解计算过程。实验证明,CW 可以提供更清晰的概念层次,是批量归一化层的替代方案。
Feb, 2020
本论文提出 Switchable Whitening 算法,该算法将不同的白化方法和标准化方法统一,能够自适应地选择适当的白化或标准化统计量来处理不同的任务,从而取得了在多项视觉任务中的最佳表现。
Apr, 2019
本研究论文提出了一种名为统一批标准化(UBN)的两阶段统一框架,用于解决批标准化(BN)中的特征凝聚问题,并统一各种标准化变体以提高性能和网络训练收敛速度。实验证明,UBN 方法能够在不同的视觉背景下显著提升性能,并且在早期训练阶段尤其明显,如在大批量数据上提高了 3% 的 ImageNet 分类的 top-1 准确率,展示了该方法在实际场景中的有效性。
Nov, 2023