Jun, 2020

评估预测时间批归一化在协变量转移下的鲁棒性

PDF
TL;DR本文提出了一种名为 'prediction-time batch normalization' 的方法，该方法可以在处理具有协变量移位的数据时提高深度学习模型的准确性和标准化，达到了最先进的水平，并提供了更好的模型行为理解，但在预训练模型并且使用更自然类型的数据时，该方法效果不佳，值得进一步研究。
covariate shiftprediction-time batch normalizationstate-of-the-artrobustnessmodel behavior
发现论文，激发创造
  • 对协变量偏移的测试时间批次统计校准

    本文提出了一种基于 alpha-BN 的测试时间适应框架 Core，通过混合源和目标统计信息来校准批次统计量以缓解域漂移并保留区分结构。实验证明我们的方法在包括图像分类和语义分割的三个主题的 12 个数据集上实现了最先进的性能。特别地，在没有任何训练的情况下，我们的 alpha-BN 改进了 28.4％至 43.9％，甚至超过了最新的源无关域自适应方法。

    Oct, 2021

  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

    Feb, 2015

  • 通道选择性归一化的标签偏移稳定测试时自适应

    通过有选择性地调整深度神经网络中的通道，以降低对标签分布的敏感性，我们在三个分类任务中应用了这一方法，并发现它在减少其他方法的失败风险的同时，能够显著提高测试时间自适应的效果，同时对超参数的选择具有鲁棒性。

    Feb, 2024

  • 协变量偏移下贝叶斯模型平均的危险性

    通过使用全批处理的哈密尔顿蒙特卡罗来近似推断的贝叶斯神经网络，在协变量转移下实现了良好的性能，但我们发现，贝叶斯模型平均在这种情况下可能会出现问题，特别是在输入特征中存在线性相关性导致后验收缩不足的情况下，我们提出了新的先验概率分布，以提高 BNN 对多种协变量转移的稳健性。

    Jun, 2021

  • MixNorm: 通过在线归一化估计进行测试时适应

    本文提出了一种简单而有效的方法，可以在测试期间估算批量标准化统计量以快速适应目标测试样本，并提出两种新的评估设置，避免对大量在线批次的依赖并能够仅通过单个样本估算准确的批量标准化统计量。该方法在测试时间自适应任务的新提出的设置中明显优于现有方法，并且在其他设置中也有所改进。

    Oct, 2021

  • 通过协变量转移适应性提高对常见数据损坏的稳健性

    本研究证明：大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性，因此提出了一种基于非监督在线适应的方法，通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。

    Jun, 2020

  • 基于随机批标准化的不确定性估计

    本文提出了对批标准化技术的概率解释，设计了一种概率模型，证明了批标准化可以最大化其较小边界的边际对数似然。基于新的概率模型，我们设计了一种一致性算法，以减少内存和计算成本，并提供了一种可扩展的不确定性估计技术。该方法在 MNIST 和 CIFAR-10 数据集上对受欢迎的架构进行了演示。

    Feb, 2018

  • 标准化传播：一种参数技术用于消除深层网络中的内部协变量移位

    介绍了一种用于解决深度神经网络训练中的内部协变量漂移问题的非自适应规范化技术 ——Normalization Propagation，其利用一种数据独立的参数估计，通过预先规范化激活函数前的数据分布特征，实现了批标准化无法实现的单个 Batch 的训练，进一步减少了运算复杂性。

    Mar, 2016

  • 基于无监督域自适应的校准变量偏移预测

    本文提出了一种算法，用于校准模型预测并考虑协变量转移的情况，采用重要性加权法纠正训练分布与实际分布的差异，并通过领域适应的方法实现两个分布尽可能一致， 实证结果表明，该方法在存在协变量转移时优于现有的校准方法。

    Feb, 2020

  • 针对分布偏移的天气预报改进的稳健校准

    通过使用专家混合技术和计算机视觉领域的先进数据增强技术，结合对预测不确定性的稳健后期校准，我们可以在表格数据的深度神经网络中实现比提升树模型更准确和更好校准的结果，从而改进领域外天气预测和不确定性估计。

    Jan, 2024