ICLRJun, 2018

可切换规范化的微分学习

PDF
TL;DR本文提出可切换标准化（SN），通过学习为深度神经网络的不同标准化层选择不同的标准化器来解决学习标准化问题。 SN 在计算统计量（均值和方差）时使用三个不同的范围，包括通道，层和批处理，并通过学习它们的重要性权重来在它们之间切换，从而能适应各种网络架构和任务，并且不会受到宽范围批量大小的影响，具有很强的稳健性。 SN 不需要敏感的超参数搜索，而且在各种挑战性的基准测试中具有良好的性能，例如 ImageNet，COCO，CityScapes，ADE20K 和 Kinetics。作者也进行了分析，希望 SN 能够有助于使用和理解深度学习中的标准化技术。
switchable normalizationlearning-to-normalizedeep neural networkstatisticsrobust
发现论文，激发创造
  • 可切换的规范化用于深度表示学习的规范化

    我们提出了可切换归一化（SN）来解决深度神经网络中学习正常化的问题。它有三个不同的范围来计算统计量（均值和方差），包括通道、层和 mini-batch。SN 通过学习它们的重要性权重来在它们之间切换。它适应各种网络架构和任务，对各种具有挑战性的基准如 ImageNet 表现非常出色，并且没有敏感的超参数。

    Jul, 2019

  • 通过 SparsestMax 学习稀疏可切换归一化的 SSN

    本研究提出了一种稀疏切换归一化（SSN）方法，通过 SparsestMax 算法将学习的重要性约束为稀疏条件，保证每个规范化层只选择一个归一化器，从而提高了深度学习的性能，并在 ImageNet，Cityscapes，ADE20K 和 Kinetics 等数据集上得到了验证 。

    Mar, 2019

  • 深度表示学习的可切换美白

    本论文提出 Switchable Whitening 算法，该算法将不同的白化方法和标准化方法统一，能够自适应地选择适当的白化或标准化统计量来处理不同的任务，从而取得了在多项视觉任务中的最佳表现。

    Apr, 2019

  • 学习深度表示的示例归一化

    该论文使用范例规范化（EN）提出了一种动态学习归一化（L2N）问题，可以学习不同归一化方法，应用在深度神经网络的不同卷积层和图像样本中，可以用于图像识别、语义分割等任务，并在各种网络结构与任务中展现出效果显著的性能优势。

    Mar, 2020

  • 模态归一化

    本文提出了一种扩展 Batch Normalization 的灵活方法，通过将归一化扩展到不止一个均值和方差，我们能够实时检测数据模式并联合归一化具有共同特征的样本。实验结果表明，我们的方法在单任务和多任务数据集上优于 BN 和其他广泛使用的归一化技术。

    Oct, 2018

  • 一种新型带有共享归一化的图像隐写分析卷积神经网络

    该研究探索在图像隐写分析中，基于深度学习的技术，使用批量归一化和共享归一化提高原有模型的性能，并实验证明所提出的共享归一化技术在图像隐写分析中有稳定的表现且优于之前的方法。

    Nov, 2017

  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • 批量层归一化，一种用于 CNNs 和 RNN 的新归一化层

    介绍了一种新的归一化层 Batch Layer Normalization（BLN），可以在深度神经网络中减少内部协变量偏移问题，通过适应性的权衡 mini-batch 和特征标准化，并且具有比批归一化和层归一化更快的收敛速度。

    Sep, 2022

  • 通过批量归一化模型中分离变化模式以加速训练

    该研究使用 Fisher 核的角度探索 Batch Normalization 的优化，提出了一种新的 Mixture Normalization 方法，通过 CIFAR-10 和 CIFAR-100 实验验证能够有效加速深度神经网络模型的训练

    Jun, 2018

  • 关注归一化

    本篇论文提出了一种轻量级的模式集成方案，称为 Attentive Normalization (AN)，将特征标准化和注意力机制相结合，实现了对实例的特征重新校准和调整，在 ImageNet 和 MS-COCO 的分类和检测任务中都获得了一致的性能提升。

    Aug, 2019