CVPRDec, 2019

本地上下文标准化：再探本地标准化

PDF
TL;DR本文介绍了一种名为 LCN 的局部上下文归一化方法，它比常见的 GN、IN、LN 等归一化层在目标检测、语义分割和实例分割应用中表现更好，并且使性能独立于批量大小和便于迁移学习。
normalizationdeep neural networkslocal spatial contextpositional normalizationlocal context normalization
发现论文，激发创造
  • 稳健图像分类的上下文归一化

    本文提出一种称为上下文归一化的新的归一化技术，用于图像数据。这种方法基于每个样本的特征调整特征的缩放，通过使数据值适应目标任务的上下文来提高模型的收敛速度和性能。在各种数据集上展示了上下文归一化的有效性，并将其性能与其他标准归一化技术进行了比较。

    Mar, 2023

  • 使用实例层规范化的 U-Net 训练

    本文提出了一种基于 Sigmoid 函数和分组归一化的 Instance-Layer Normalization (ILN) 层，用于 DCNN 的浅层特征图融合。使用 U-Net 作为 DCNN 架构以右心室和左心室的图像分割为例，验证了 ILN 在各种常见规格网络上的有效性，优于传统的与流行的归一化方法。

    Aug, 2019

  • U-Net 的训练中的标准化对 2D 生物医学语义分割的影响

    本文探讨了四种不同的归一化方法（BN，IN，LN 和 GN），并进行了详细比较以用于 2D 生物医学语义分割，结果表明大群组 GN 或 IN 的细分特征映射可以实现更高的准确性，主要来自于更好的模型泛化能力。

    Sep, 2018

  • 深度学习中标准化方法的新诠释

    本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

    Jun, 2020

  • BCN: 批量通道归一化用于图像分类

    该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。

    Dec, 2023

  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • ACNe: 用于健壮置换等变学习的注意力上下文归一化

    本文提出了注意力上下文归一化（ACN）技术，基于排列不变网络实现离群点鲁棒性的全局归一化方法，并利用本地和全局注意力找到高维空间中的关键数据点来解决特定任务，实验证明我们的方法在处理稀疏、无序数据的点云分类、抗噪点云拟合和相机姿态估计等方面性能较现有方法显著提升。

    Jul, 2019

  • 批量层归一化，一种用于 CNNs 和 RNN 的新归一化层

    介绍了一种新的归一化层 Batch Layer Normalization（BLN），可以在深度神经网络中减少内部协变量偏移问题，通过适应性的权衡 mini-batch 和特征标准化，并且具有比批归一化和层归一化更快的收敛速度。

    Sep, 2022

  • 学习深度表示的示例归一化

    该论文使用范例规范化（EN）提出了一种动态学习归一化（L2N）问题，可以学习不同归一化方法，应用在深度神经网络的不同卷积层和图像样本中，可以用于图像识别、语义分割等任务，并在各种网络结构与任务中展现出效果显著的性能优势。

    Mar, 2020

  • 位置归一化

    本文提出了一种基于通道归一化的激活值归一化方法，通过提取特征在图像位置的一阶和二阶矩来捕获输入图像和抽取特征的结构信息，并将归一化常数重新注入后续层以保留或转移结构信息在生成网络中。

    Jul, 2019