ICCVFeb, 2021

跨范数和自范数：在分布偏移下的泛化

PDF
TL;DR本文介绍了新的标准化技术 ——CrossNorm 和 SelfNorm，通过交换特征图之间的通道均值和方差以及使用注意力重新校准统计量来改善在 distribution shifts 下的泛化鲁棒性，证明了其在不同领域（视觉和语言），任务（分类和分割），设置（有监督和半监督）和分布转移类型（合成和自然）下非常有效。
normalization techniquesdistribution shiftscrossnormselfnormgeneralization robustness
发现论文，激发创造
  • MixNorm: 通过在线归一化估计进行测试时适应

    本文提出了一种简单而有效的方法，可以在测试期间估算批量标准化统计量以快速适应目标测试样本，并提出两种新的评估设置，避免对大量在线批次的依赖并能够仅通过单个样本估算准确的批量标准化统计量。该方法在测试时间自适应任务的新提出的设置中明显优于现有方法，并且在其他设置中也有所改进。

    Oct, 2021

  • 基于归一化互相关卷积的单域泛化

    本文探讨了一种名为 XCNorm 的线性算子，该算子使用权重和输入特征图之间的归一化交叉相关来提高深度神经网络的鲁棒性，在单域通用基准测试中表现出与最先进方法相当的性能。

    Jul, 2023

  • 异质相似度下的监督对比学习用于分布偏移

    本文提出了一种利用监督对比学习的新型正则化方法，通过将余弦相似度扩展到更一般的相似度度量，建议在比较样本与正 / 负例子时使用不同的参数，并在此基础上提出了一种具有优势的方法，用于处理数据分布变化的问题，这种方法尤其适合使用高度代表性的模型，如神经网络。

    Apr, 2023

  • 规范化增强视觉强化学习的泛化能力

    本文探讨将规范化技术整合到视觉增强学习方法中，以提高其泛化性能，并使用两种规范化技术，CrossNorm 和 SelfNorm，在 DMControl Generalization Benchmark 和 CARLA 上进行实验证明了该方法的有效性并只会对样本效率略微影响。

    Jun, 2023

  • 通过协方差归一化实现高效多域网络学习

    本论文研究了深度神经网络的多领域学习问题，并提出了一种自适应层和称作协方差规范化（CovNorm）的简单方法来减少其参数。实验证明，在目标数据集顺序或同时可用的情况下，CovNorm 可以与全面调整的网络具有相当的性能。

    Jun, 2019

  • GraphNorm：加速图神经网络训练的原则性方法

    本文研究了对图神经网络进行归一化的有效方法，将 InstanceNorm 与 BatchNorm 和 LayerNorm 进行比较，证明了 InstanceNorm 对 GNNs 的预处理效果最好。同时，我们也发现 InstanceNorm 的偏移操作可能会导致 GNNs 的表现能力下降，因此引入了可学习的 GraphNorm 对表现力下降的问题进行纠正，实验证明使用 GraphNorm 推出的 GNN 准确率得到了显著提升。

    Sep, 2020

  • 分布归一化：对基于对比学习的视觉语言模型进行 “轻松” 的测试时间增强

    通常的下游做法只是优化目标的零阶近似，而 Distribution Normalization（DN）可以很好地检索到负样本的信息，从而在测试时间获得更好的性能。

    Feb, 2023

  • 利用实例规范化流解决时间序列预测中的分布变化

    本文提出了一种新的时间序列预测方法，通过解决分布转移问题以及采用解耦的公式，并在联合学习变换和预测的基础上，利用 instance normalization flows 实现时间序列的转换。通过广泛实验验证，在合成和实际数据上，我们的方法始终优于现有基线算法。

    Jan, 2024

  • 可切换规范化的微分学习

    本文提出可切换标准化（SN），通过学习为深度神经网络的不同标准化层选择不同的标准化器来解决学习标准化问题。 SN 在计算统计量（均值和方差）时使用三个不同的范围，包括通道，层和批处理，并通过学习它们的重要性权重来在它们之间切换，从而能适应各种网络架构和任务，并且不会受到宽范围批量大小的影响，具有很强的稳健性。 SN 不需要敏感的超参数搜索，而且在各种挑战性的基准测试中具有良好的性能，例如 ImageNet，COCO，CityScapes，ADE20K 和 Kinetics。作者也进行了分析，希望 SN 能够有助于使用和理解深度学习中的标准化技术。

    Jun, 2018

  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

    Feb, 2015