- BCN: 批量通道归一化用于图像分类
该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。
- 自动磁共振图像诊断中标准化方案对输入分布变化的敏感性和鲁棒性研究
本研究通过实验观察发现，针对磁共振成像的多种伪影，批标准化技术会导致深度学习模型性能下降，因此提出采用其他标准化技术（如组标准化和层标准化）可以提高模型对多种 MR 伪影和分布移位的准确性。
- 规范化增强视觉强化学习的泛化能力
本文探讨将规范化技术整合到视觉增强学习方法中，以提高其泛化性能，并使用两种规范化技术，CrossNorm 和 SelfNorm，在 DMControl Generalization Benchmark 和 CARLA 上进行实验证明了该方法 - Pre-RMSNorm 与 Pre-CRMSNorm 变压器：等效且高效的 Pre-LN 变压器
本文提出了一种方法通过去除 Pre-LN Transformers 的冗余均值信息，将 LayerNorm 转化为 RMSNorm 以取得更高效率，进一步提出了一种基于无损压缩的 CRMSNorm Transformer， 实验证明，这种方 - FusionFormer：在 Transformer 中融合操作以实现高效流式语音识别
通过将层标准化技术替换为批标准化技术并且对 Conformer 架构的激活函数进行简化和替换（用 ReLU），我们提出了一个名为 FusionFormer 的模型，它的推理速度比标准的 Conformer 模型快约 10%，而且效果相当。
- 针对人员再识别的无监督域泛化：领域特定自适应框架
本论文提出了一种无监督领域泛化的方法来解决行人重识别中源域无标签的问题，该方法采用领域特定的自适应框架，结合批标准化和实例标准化技术实现，准确地优化模型泛化能力，同时提高了训练效率和 ReID 性能。实验证明，该方法在不同的数据集上表现出显 - ICCV跨范数和自范数：在分布偏移下的泛化
本文介绍了新的标准化技术 ——CrossNorm 和 SelfNorm，通过交换特征图之间的通道均值和方差以及使用注意力重新校准统计量来改善在 distribution shifts 下的泛化鲁棒性，证明了其在不同领域（视觉和语言），任务（ - 图神经网络的图归一化学习
本文提出了通过优化四个不同层面的加权组合来学习图归一化的方法，其中包括节点归一化、邻接归一化、图归一化和批归一化。在不同数据集和任务中，学到的权重可以选择最优的归一化技巧，实现竞争性结果。
- ICLRAdamP：针对尺度不变权重下动量优化器的减缓减速方法
本文介绍了正则化技术在深度学习中的重要性，以及在使用冲量梯度下降优化器时可能出现的问题和解决方法。作者提出了 SGDP 和 AdamP 两种解决方案，通过去除每次优化步骤中的径向分量或增加规范的方向，来维护深度神经网络的性能，并验证了这些方 - CVPR学习深度表示的示例归一化
该论文使用范例规范化（EN）提出了一种动态学习归一化（L2N）问题，可以学习不同归一化方法，应用在深度神经网络的不同卷积层和图像样本中，可以用于图像识别、语义分割等任务，并在各种网络结构与任务中展现出效果显著的性能优势。
- 激活样本方差的方差正则化
通过添加一个新的损失项，将神经网络激活函数的方差稳定下来，使其围绕几个不同的模式分布，并将这种正则化项与 batchnorm 方法联系起来，提高了卷积神经网络和全连接网络的准确性。
- 余弦归一化：在神经网络中使用余弦相似度代替点积
该研究探讨使用余弦相似度或中心余弦相似度（皮尔逊相关系数）来替代神经网络中点积计算，从而达到较好的正则化效果，实验结果表明，余弦正则化优于其他正则化技术。
- ICLR规范化规范器：比较和扩展网络规范化方案
本文提出一种归一化技术 —— 分裂归一化法，包括批归一化和层归一化，并发现在使用这种技术时结合对激活函数的稀疏正则化可以提高卷积神经网络和循环神经网络的准确性。