Oct, 2021

对协变量偏移的测试时间批次统计校准

PDF
TL;DR本文提出了一种基于 alpha-BN 的测试时间适应框架 Core，通过混合源和目标统计信息来校准批次统计量以缓解域漂移并保留区分结构。实验证明我们的方法在包括图像分类和语义分割的三个主题的 12 个数据集上实现了最先进的性能。特别地，在没有任何训练的情况下，我们的 alpha-BN 改进了 28.4％至 43.9％，甚至超过了最新的源无关域自适应方法。
domain adaptationcovariate shifttest time normalizationalpha-bnpairwise class correlation
发现论文，激发创造
  • 通过学习领域感知的批归一化实现测试时域自适应

    通过仅操作 BN 层以减少学习干扰和提高域知识学习，结合自我监督学习提供监督，以及使用元学习强制辅助分支与主分支目标对齐的双层优化，我们的方法在五个真实领域转移数据集上优于其他方法。

    Dec, 2023

  • 通道选择性归一化的标签偏移稳定测试时自适应

    通过有选择性地调整深度神经网络中的通道，以降低对标签分布的敏感性，我们在三个分类任务中应用了这一方法，并发现它在减少其他方法的失败风险的同时，能够显著提高测试时间自适应的效果，同时对超参数的选择具有鲁棒性。

    Feb, 2024

  • TTN：测试时间适应中考虑领域变化的批量归一化

    本文提出了一种新型的批次规范化策略 —— 测试时间适应的归一化统计方法，通过调整传统归一化和传输归一化统计信息的权重，以适应各种实际评估场景，提高模型对于不同批次大小和领域转移的鲁棒性，实现了各项标准评测中的最佳性能。

    Feb, 2023

  • 评估预测时间批归一化在协变量转移下的鲁棒性

    本文提出了一种名为 'prediction-time batch normalization' 的方法，该方法可以在处理具有协变量移位的数据时提高深度学习模型的准确性和标准化，达到了最先进的水平，并提供了更好的模型行为理解，但在预训练模型并且使用更自然类型的数据时，该方法效果不佳，值得进一步研究。

    Jun, 2020

  • MixNorm: 通过在线归一化估计进行测试时适应

    本文提出了一种简单而有效的方法，可以在测试期间估算批量标准化统计量以快速适应目标测试样本，并提出两种新的评估设置，避免对大量在线批次的依赖并能够仅通过单个样本估算准确的批量标准化统计量。该方法在测试时间自适应任务的新提出的设置中明显优于现有方法，并且在其他设置中也有所改进。

    Oct, 2021

  • 通过匹配批归一化统计数据实现无源域自适应的分布对齐

    我们提出了一种利用预训练模型中的批量归一化统计信息来逼近未观测源数据分布的新颖域自适应方法，并在多个基准数据集上验证了其在无法访问源数据的情况下具有竞争性的分类性能。

    Jan, 2021

  • 发现邻居：动态世界中的高级稳定测试时适应

    本文通过分析批量归一化技术中与类相关和与类无关的特征，将源域和测试域的统计数据进行组合，从而鲁棒地表征目标分布，并提出了针对动态测试时间适应的第一种无需反向传播的方法 DYN，该方法通过实例归一化统计量鉴别相似样本并进行聚类，以提供一致的与类无关表示。实验结果验证了 DYN 的鲁棒性和有效性，并展示了在动态数据流模式下维持性能的能力。

    Jun, 2024

  • 揭秘批归一化对于现实测试时适应性的作用

    该研究论文探讨了小批量数据受损的问题，通过揭示批量归一化的不准确目标统计数据主要源于小批量中大幅减少的类别多样性，引入了一种简单的工具 Test-time Exponential Moving Average (TEMA)，以弥补训练和测试批次之间的类别多样性差距，进而提高准确的目标估计，在不需要训练或调参的情况下显著提高模型的鲁棒性。

    Dec, 2023

  • 预训练网络的少样本领域适应

    提出了一种少样本领域自适应框架，通过受目标域的一个小支持集合监督的预训练源模型中的特征标准化统计的约束优化，可改善源模型的分类性能，实验证明该方法优于测试时适应方法，并且没有实时流条件的限制。

    May, 2022

  • 重新审视批归一化以提高抗扰动性

    本研究中，我们将深度神经网络中的几项统计学指标变换为适应不同数据集，并通过少量表示样本的统计估计实现批量归一化统计量的调整与适应，从而在多种基准数据集上得到了更好的数据集迁移性和鲁棒性表现。

    Oct, 2020