位置归一化

Jul, 2019

Positional Normalization

Boyi Li, Felix Wu, Kilian Q. Weinberger, Serge Belongie

TL;DR本文提出了一种基于通道归一化的激活值归一化方法，通过提取特征在图像位置的一阶和二阶矩来捕获输入图像和抽取特征的结构信息，并将归一化常数重新注入后续层以保留或转移结构信息在生成网络中。

Abstract

A popular method to reduce the training time of deep neural networks is to normalize activations at each layer. Although various normalization schemes have been proposed, they all follow a common theme: normalize across spatial dimensions and discard the extracted statistics. In this p

deep neural networks activation normalization channel normalization structural information generative networks

发现论文，激发创造

规范化规范器：比较和扩展网络规范化方案

本文提出一种归一化技术 —— 分裂归一化法，包括批归一化和层归一化，并发现在使用这种技术时结合对激活函数的稀疏正则化可以提高卷积神经网络和循环神经网络的准确性。

Nov, 2016

卷积归一化：提高深度卷积网络的鲁棒性和训练效果

介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

Mar, 2021

全局池化，不止眼见所及: CNN 中位置信息以通道方式编码

本文挑战了将三维卷积神经网络中的空间维度通过全局池化折叠成向量会删除所有空间信息的普遍假设，并证明了基于通道维度排序编码位置信息，而语义信息大多不是。其次，我们提出了简单而有效的数据增强策略和损失函数以提高 CNN 输出的平移不变性，以及一种有效确定潜在表示中哪些通道负责编码整体位置信息或区域特定位置信息的方法。这些发现将受益于关注 CNN 特征的研究领域。

Aug, 2021

层归一化

本文提出一种基于层归一化的深度神经网络训练新方法，能够有效稳定循环神经网络中的隐藏状态动态，其训练时间较之前的技术有大幅度降低。

Jul, 2016

具有空间自适应规范化的语义图像合成

通过使用自适应规范化层来调整激活函数，我们提出了一种简单但有效的方法来合成具有输入语义布局的逼真图像，这种方法可以提高视觉保真度和与输入布局的对齐度，并允许用户控制语义和风格。

Mar, 2019

关于特征标准化和数据增强

本文提出了 Moment Exchange 方法，它是一种隐式数据增强方法，通过替换学习特征的矩和插值目标标签，强制模型从矩中提取训练信号来利用矩的信息，从而在多个识别基准数据集上提高高度竞争性基线网络的泛化能力。

Feb, 2020

演化归一化激活层

提出一种基于自动化方法设计规范化层和激活函数的新方法来克服规范化 - 激活函数共用空间大的挑战。将它们统一为单个张量到张量计算图，并从基本数学函数开始演化其结构，最终发现了一组新的 norm-activation 层 EvoNorms，这些层的性能在不同的深度网络结构上都表现良好。

Apr, 2020

基于归一化等变性的神经网络及其在图像去噪中的应用

本文提出了一种方法，通过引入受控亚线性激活函数和逐通道排序池化层来适应现有深度神经网络，从而实现网络的归一化等变性，这些修改不会损失性能，并应用于图像去噪中。

Jun, 2023

激活样本方差的方差正则化

通过添加一个新的损失项，将神经网络激活函数的方差稳定下来，使其围绕几个不同的模式分布，并将这种正则化项与 batchnorm 方法联系起来，提高了卷积神经网络和全连接网络的准确性。

Nov, 2018

模态归一化

本文提出了一种扩展 Batch Normalization 的灵活方法，通过将归一化扩展到不止一个均值和方差，我们能够实时检测数据模式并联合归一化具有共同特征的样本。实验结果表明，我们的方法在单任务和多任务数据集上优于 BN 和其他广泛使用的归一化技术。

Oct, 2018