通过非对称性训练的双分类器学习更少的泛化模式，以获得更好的测试时间适应性

Oct, 2022

通过非对称性训练的双分类器学习更少的泛化模式，以获得更好的测试时间适应性

Learning Less Generalizable Patterns with an Asymmetrically Trained Double Classifier for Better Test-Time Adaptation

Thomas Duboudin, Emmanuel Dellandréa, Corentin Abgrall, Gilles Hénaff, Liming Chen

TL;DR本文探讨了单一数据域在训练过程中训练的深度神经网络泛化性不足的问题，提出了一种新方法，通过引入副分类器和避免捷径学习行为的损失函数来降低泛化性不足，并成功在两个基准测试上超越了现有方法。

Abstract

deep neural networks often fail to generalize outside of their training distribution, in particular when only a single data domain is available during training. While test-time adaptation has yielded encouraging

deep neural networks test-time adaptation training procedure modifications shortcut learning phenomenon classifiers

发现论文，激发创造

通道选择性归一化的标签偏移稳定测试时自适应

通过有选择性地调整深度神经网络中的通道，以降低对标签分布的敏感性，我们在三个分类任务中应用了这一方法，并发现它在减少其他方法的失败风险的同时，能够显著提高测试时间自适应的效果，同时对超参数的选择具有鲁棒性。

Feb, 2024

通过学习领域感知的批归一化实现测试时域自适应

通过仅操作 BN 层以减少学习干扰和提高域知识学习，结合自我监督学习提供监督，以及使用元学习强制辅助分支与主分支目标对齐的双层优化，我们的方法在五个真实领域转移数据集上优于其他方法。

Dec, 2023

预训练网络的少样本领域适应

提出了一种少样本领域自适应框架，通过受目标域的一个小支持集合监督的预训练源模型中的特征标准化统计的约束优化，可改善源模型的分类性能，实验证明该方法优于测试时适应方法，并且没有实时流条件的限制。

May, 2022

对协变量偏移的测试时间批次统计校准

本文提出了一种基于 alpha-BN 的测试时间适应框架 Core，通过混合源和目标统计信息来校准批次统计量以缓解域漂移并保留区分结构。实验证明我们的方法在包括图像分类和语义分割的三个主题的 12 个数据集上实现了最先进的性能。特别地，在没有任何训练的情况下，我们的 alpha-BN 改进了 28.4％至 43.9％，甚至超过了最新的源无关域自适应方法。

Oct, 2021

朝向真实世界的测试期适应：带有平衡归一化的三网络自训练

通过在测试阶段将源域模型适应到测试数据，测试时间适应旨在应对未见过的损坏并证明其成功。然而，在更具挑战性的真实场景下，这些尝试可能会失败。现有的作品主要考虑了非独立同分布的真实世界测试时间适应和持续的域漂移。在这项工作中，我们首先用全局类别不平衡的测试集对现有的真实世界 TTA 协议进行补充。我们证明将所有设置结合起来对现有方法提出了新的挑战。我们认为现有最先进的方法的失败首先是由于在不平衡的测试数据上不加选择地适应归一化层引起的。为了解决这个缺点，我们提出了一个平衡的 batchnorm 层，用于在推理阶段替换正常的 batchnorm。新的 batchnorm 层能够适应而不偏向多数类别。我们受到自我训练（ST）在学习无标签数据中的成功启发，并将 ST 用于测试时间适应。然而，单独使用 ST 容易出现过适应，这是持续域漂移下性能不佳的原因。因此，我们提出通过使用锚定损失对模型更新进行正则化来改进持续域漂移下的自我训练。最终的 TTA 模型，称为 TRIBE，建立在一个带有平衡的 batchnorm 层的三网络结构上。我们在代表真实世界 TTA 设置的四个数据集上评估了 TRIBE。在多个评估协议中，TRIBE 始终实现了最先进的性能。代码可在 https://github.com/Gorilla-Lab-SCUT/TRIBE 上获取。

Sep, 2023

单个测试样本跨域泛化学习

该论文提出了一种利用单个测试样本进行跨域泛化模型训练的元学习方法，将单个测试样本的自适应变形建模为一种变分贝叶斯推断问题，从而在无需额外数据的情况下实现了对每个测试样本的自动调整，并在多个领域泛化基准测试中取得了至少与现有最先进方法相当甚至更好的性能。

Feb, 2022

神经网络的领域对抗性训练

本文提出了一种新的领域适应的表示学习方法，使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征，该方法增加了标准层和一个新的反向梯度层，可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。

May, 2015

通过置信度最大化和输入变换对分布偏移进行测试时间适应

该论文研究深度神经网络在非训练时数据分布下表现不佳的问题，提出一种全测试时间适应的解决方案，通过使用替代熵和添加基于批次的熵最大化的多样性正则化器来解决熵最小化的早期收敛和不稳定性问题，并且可以通过在完全测试时间适应性损失中学习无需目标域标签或源域数据的输入变换模块，从而达到在 ImageNet-C 等挑战性基准测试中提高公共预训练图像分类器鲁棒性的效果。

Jun, 2021

发现邻居：动态世界中的高级稳定测试时适应

本文通过分析批量归一化技术中与类相关和与类无关的特征，将源域和测试域的统计数据进行组合，从而鲁棒地表征目标分布，并提出了针对动态测试时间适应的第一种无需反向传播的方法 DYN，该方法通过实例归一化统计量鉴别相似样本并进行聚类，以提供一致的与类无关表示。实验结果验证了 DYN 的鲁棒性和有效性，并展示了在动态数据流模式下维持性能的能力。

Jun, 2024

域适应器：一种用于测试时适应的新方法

通过 AdaMixBN 模块和广义熵最小化 (GEM) 损失函数，本论文提出了一种名为 DomainAdaptor 的统一方法，用于进行测试时的适应学习，以最大限度地挖掘测试数据中的信息，并解决训练和测试样本之间的领域偏移问题，从而在四个基准测试中稳定超过现有方法，尤其在少量数据的未知领域中带来了更显著的改进。

Aug, 2023