Oct, 2021

MixNorm: 通过在线归一化估计进行测试时适应

PDF
TL;DR本文提出了一种简单而有效的方法，可以在测试期间估算批量标准化统计量以快速适应目标测试样本，并提出两种新的评估设置，避免对大量在线批次的依赖并能够仅通过单个样本估算准确的批量标准化统计量。该方法在测试时间自适应任务的新提出的设置中明显优于现有方法，并且在其他设置中也有所改进。
test-time adaptationbatch-norm statisticssource modeltest samplesevaluation settings
发现论文，激发创造
  • EvalNorm: 用于模型评估的批归一化统计量估计

    通过使用 EvalNorm，本文解决了小 minibatch 训练时 batch normalization 性能下降的问题，而且 EvalNorm 实现方便，可以进一步提高模型性能。

    Apr, 2019

  • 对协变量偏移的测试时间批次统计校准

    本文提出了一种基于 alpha-BN 的测试时间适应框架 Core，通过混合源和目标统计信息来校准批次统计量以缓解域漂移并保留区分结构。实验证明我们的方法在包括图像分类和语义分割的三个主题的 12 个数据集上实现了最先进的性能。特别地，在没有任何训练的情况下，我们的 alpha-BN 改进了 28.4％至 43.9％，甚至超过了最新的源无关域自适应方法。

    Oct, 2021

  • 测试时间归一化统计量解混：对抗标签时序相关性

    在测试时适应方法中，通过引入一种名为 “Un-Mixing Test-Time Normalization Statistics”（UnMix-TNS）的突破性策略，通过与多个未混合的统计成分混合来重新校准用于批处理中每个实例的统计信息，从而在本质上模拟独立同分布的环境，从而实现了解决非独立同分布条件下的系统稳定性问题。该方法能够出色地处理具有时间相关性的测试数据流，并在多个评估基准中显著提高稳定性和性能。

    Jan, 2024

  • 通道选择性归一化的标签偏移稳定测试时自适应

    通过有选择性地调整深度神经网络中的通道，以降低对标签分布的敏感性，我们在三个分类任务中应用了这一方法，并发现它在减少其他方法的失败风险的同时，能够显著提高测试时间自适应的效果，同时对超参数的选择具有鲁棒性。

    Feb, 2024

  • 模型适应新的规范：无监督时间序列异常检测的测试时间调整

    针对非监督时间序列异常检测研究中的 ' 新常态问题 '，本文提出了一种基于趋势估计和自监督方法的简单而有效的测试时间适应策略，通过在推理过程中学习新的常态性，从而提高异常检测器的性能并增强对分布变化的鲁棒性。

    Dec, 2023

  • 通过学习领域感知的批归一化实现测试时域自适应

    通过仅操作 BN 层以减少学习干扰和提高域知识学习，结合自我监督学习提供监督，以及使用元学习强制辅助分支与主分支目标对齐的双层优化，我们的方法在五个真实领域转移数据集上优于其他方法。

    Dec, 2023

  • TTN：测试时间适应中考虑领域变化的批量归一化

    本文提出了一种新型的批次规范化策略 —— 测试时间适应的归一化统计方法，通过调整传统归一化和传输归一化统计信息的权重，以适应各种实际评估场景，提高模型对于不同批次大小和领域转移的鲁棒性，实现了各项标准评测中的最佳性能。

    Feb, 2023

  • 朝向真实世界的测试期适应：带有平衡归一化的三网络自训练

    通过在测试阶段将源域模型适应到测试数据，测试时间适应旨在应对未见过的损坏并证明其成功。然而，在更具挑战性的真实场景下，这些尝试可能会失败。现有的作品主要考虑了非独立同分布的真实世界测试时间适应和持续的域漂移。在这项工作中，我们首先用全局类别不平衡的测试集对现有的真实世界 TTA 协议进行补充。我们证明将所有设置结合起来对现有方法提出了新的挑战。我们认为现有最先进的方法的失败首先是由于在不平衡的测试数据上不加选择地适应归一化层引起的。为了解决这个缺点，我们提出了一个平衡的 batchnorm 层，用于在推理阶段替换正常的 batchnorm。新的 batchnorm 层能够适应而不偏向多数类别。我们受到自我训练（ST）在学习无标签数据中的成功启发，并将 ST 用于测试时间适应。然而，单独使用 ST 容易出现过适应，这是持续域漂移下性能不佳的原因。因此，我们提出通过使用锚定损失对模型更新进行正则化来改进持续域漂移下的自我训练。最终的 TTA 模型，称为 TRIBE，建立在一个带有平衡的 batchnorm 层的三网络结构上。我们在代表真实世界 TTA 设置的四个数据集上评估了 TRIBE。在多个评估协议中，TRIBE 始终实现了最先进的性能。代码可在 https://github.com/Gorilla-Lab-SCUT/TRIBE 上获取。

    Sep, 2023

  • 揭秘批归一化对于现实测试时适应性的作用

    该研究论文探讨了小批量数据受损的问题，通过揭示批量归一化的不准确目标统计数据主要源于小批量中大幅减少的类别多样性，引入了一种简单的工具 Test-time Exponential Moving Average (TEMA)，以弥补训练和测试批次之间的类别多样性差距，进而提高准确的目标估计，在不需要训练或调参的情况下显著提高模型的鲁棒性。

    Dec, 2023

  • MedBN: 对恶意测试样本的鲁棒测试时适应性

    测试时间适应（TTA）已成为解决测试数据训练和测试之间意外分布变化导致性能下降的有希望的方法。本研究提出中位数批归一化（MedBN）来应对 TTA 中的恶意示例对模型造成的潜在威胁，通过在测试推理期间的批归一化层中利用中位数来进行统计估计。我们的实验结果表明，MedBN 在维护不同攻击场景下的鲁棒性表现方面优于现有方法，且在无攻击情况下仍能保持良好的性能。

    Mar, 2024