- 残差连接和归一化能够在图神经网络中可证明地防止过度平滑
本文研究了图神经网络中残差连接和标准化层的作用，并提出了一种名为 GraphNormv2 的归一化层，以解决过度平滑问题。
- 使用 James-Stein 估计器改善归一化
在本文中，我们首先确定深度学习中的归一化层使用的均值和方差估计器不可接受，然后介绍了一种运用 James-Stein 估计器改进均值和方差估计的新方法，评估表明我们改进的归一化层在各种计算机视觉任务中始终具有优越的准确性，而且不增加额外的计 - 趋向无深度限制的训练：无梯度爆炸的批归一化
在这项研究中，我们设计了一种带有线性激活函数和批归一化的多层感知机模型，通过 Weingarten 微积分方法从理论上证明了其正向信号传播特性的精确表征，并证明了在线性独立的输入样本情况下渐近地保持梯度有界的特性。同时，我们还提出了一种激活 - NIPS关于自监督 Transformer 中的分离归一化
本研究提出了一种简单修改的方法，该方法利用了单独的标准化层对标记和 [CLS] 符号进行处理，以更好地捕捉它们的独特特征并增强下游任务的性能。实验证明，通过使用单独的标准化层，[CLS] 嵌入可以更好地编码全局上下文信息，并在其非均匀空间中 - AFN: 自适应融合归一化的编码 - 解码框架
研究人员通过实验证明自适应融合规范化在领域泛化和图像分类任务中的表现优于之前的规范化技术。
- 关于激活和标准化对于初始情况下获得等距嵌入的影响
该论文探讨了深度神经网络中的 Gram 矩阵结构，在多层感知器中给出了层归一化与激活层一起导致 Gram 矩阵趋向等距的证明，进一步阐明了高阶 Hermite 系数在此方面的重要性。
- 非独立同分布场景下联合学习中的规范化层实验
本文研究了使用联邦学习方法在分布式非独立同分布数据集上训练深度学习模型时，采用不同的规范化层和协同频率策略，优化模型性能的效果，研究发现，Batch Normalization 并不是最适合联邦学习的规范化策略，而 Group 与 Laye - 在联邦深度学习中优化批标准化
研究表明，在分布式学习中，Batch Normalization 和 Group Normalization 并没有明显差异，而 Batch Normalization 可以用于更广泛的分布式学习设置中。
- 理解归一化层的泛化增益：锐化减少
通过数学分析和实验证明，在深度网络中引入标准化层（例如批量标准化，层标准化）有利于优化并促进泛化，同时对于包含标准化的一类神经网络，伴随权值衰减的标准化可以鼓励梯度下降到达稳定边缘，并且对于这种情况，可以确定梯度下降的流动轨迹。
- ICLR无捷径的深度学习：定制整流器塑造核心
本研究提出了一种新的变换，完全兼容 ReLUs 的变种 ——Leaky ReLUs，并证明我们的方法可以实现与 ResNets 相当的准确性。
- Noether 的学习动态：对神经网络中对称性破缺的作用
通过拉格朗日力学视角建立了理论基础探索神经网络的学习动态在设计原则方面的几何学原理，揭示了显式对称性破缺等机制为现代神经网络的高效性和稳定性的关键。
- 基于风格的点云生成器与对抗渲染用于点云补全
本文提出了一种新型样式点生成器（SpareNet），通过具有通道注意性的 EdgeConv 来充分利用点特征中的局部结构和全局形状，将形状特征视为风格代码，以调节折叠过程中的标准化层，提高了其生成复杂和忠实形状的能力，然后将完成的点投影到深 - 针对深度模型保护的护照感知归一化
本文提出了一种新的具有护照感知能力的规范化公式，可用于深度学习网络的知识产权（IP）保护，通过对公私分离双重机制的应用，在不影响原始目标网络结构的情况下，实现对深度学习模型的知识产权保护，与传统防御方法相比具有更好的安全可靠性。
- ECCVTSIT: 一种简单且通用的图像到图像翻译框架
提出了一种简单而通用的图像到图像翻译框架，利用归一化层和新提出的特征变换，实现了多模态图像合成并具备任意风格控制的能力，进行了与多个先进方法的比较，证明了其在感知质量和定量评估方面的有效性。
- 带有规范化层学习的球形透视
本文介绍了一个用几何角度来研究具有 Normalization Layers 的神经网络优化的球形框架，首先得出了 Adam 的第一个有效学习率表达式，并表明在存在 NLs 的情况下，仅执行 SGD 实际上等效于限制在单位超球面上的 Ada - 高保真生成图像压缩
本文研究了如何将生成敌对网络与学习压缩相结合，得到一种最先进的生成有损压缩系统，并在归一化层、生成器和鉴别器架构、训练策略以及感知损失方面进行了探究。与之前的工作不同的是，我们实现了在广泛的比特率范围内视觉上令人满意的重建，并且，我们的方法 - ICML使用标准化层训练的 ReLU 神经网络的优化理论
本文研究了引入规范化层对神经网络的全局收敛速度和优化效果的影响，证明了在引入 Weight Normalization 后，具有 ReLU 激活函数的两层神经网络可以加速收敛。
- 演化归一化激活层
提出一种基于自动化方法设计规范化层和激活函数的新方法来克服规范化 - 激活函数共用空间大的挑战。将它们统一为单个张量到张量计算图，并从基本数学函数开始演化其结构，最终发现了一组新的 norm-activation 层 EvoNorms，这些 - ICLR提高批标准化的四个必知技巧
本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shi