Mar, 2023

稳健图像分类的上下文归一化

PDF
TL;DR本文提出一种称为上下文归一化的新的归一化技术，用于图像数据。这种方法基于每个样本的特征调整特征的缩放，通过使数据值适应目标任务的上下文来提高模型的收敛速度和性能。在各种数据集上展示了上下文归一化的有效性，并将其性能与其他标准归一化技术进行了比较。
发现论文，激发创造
  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

    Feb, 2015

  • 模态归一化

    本文提出了一种扩展 Batch Normalization 的灵活方法，通过将归一化扩展到不止一个均值和方差，我们能够实时检测数据模式并联合归一化具有共同特征的样本。实验结果表明，我们的方法在单任务和多任务数据集上优于 BN 和其他广泛使用的归一化技术。

    Oct, 2018

  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • 本地上下文标准化：再探本地标准化

    本文介绍了一种名为 LCN 的局部上下文归一化方法，它比常见的 GN、IN、LN 等归一化层在目标检测、语义分割和实例分割应用中表现更好，并且使性能独立于批量大小和便于迁移学习。

    Dec, 2019

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • BCN: 批量通道归一化用于图像分类

    该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。

    Dec, 2023

  • 探索深度学习模型中使用群归一化在阿尔茨海默病分类中的有效性

    使用 Group Normalization 作为批量归一化（Batch Normalization）的替代方法来解决其在深度学习模型中所面临的严重挑战，具有与或提高分类准确率的可比性，而且可以自然地从预训练阶段转移到微调阶段。

    Apr, 2024

  • 无批归一化训练深度神经网络

    本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

    Aug, 2020

  • 通过批量归一化模型中分离变化模式以加速训练

    该研究使用 Fisher 核的角度探索 Batch Normalization 的优化，提出了一种新的 Mixture Normalization 方法，通过 CIFAR-10 和 CIFAR-100 实验验证能够有效加速深度神经网络模型的训练

    Jun, 2018

  • 批量归一化解释

    批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

    Sep, 2022