Sep, 2023
朝向真实世界的测试期适应：带有平衡归一化的三网络自训练
Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with
Balanced Normalization
TL;DR通过在测试阶段将源域模型适应到测试数据，测试时间适应旨在应对未见过的损坏并证明其成功。然而，在更具挑战性的真实场景下，这些尝试可能会失败。现有的作品主要考虑了非独立同分布的真实世界测试时间适应和持续的域漂移。在这项工作中，我们首先用全局类别不平衡的测试集对现有的真实世界TTA协议进行补充。我们证明将所有设置结合起来对现有方法提出了新的挑战。我们认为现有最先进的方法的失败首先是由于在不平衡的测试数据上不加选择地适应归一化层引起的。为了解决这个缺点，我们提出了一个平衡的batchnorm层，用于在推理阶段替换正常的batchnorm。新的batchnorm层能够适应而不偏向多数类别。我们受到自我训练（ST）在学习无标签数据中的成功启发，并将ST用于测试时间适应。然而，单独使用ST容易出现过适应，这是持续域漂移下性能不佳的原因。因此，我们提出通过使用锚定损失对模型更新进行正则化来改进持续域漂移下的自我训练。最终的TTA模型，称为TRIBE，建立在一个带有平衡的batchnorm层的三网络结构上。我们在代表真实世界TTA设置的四个数据集上评估了TRIBE。在多个评估协议中，TRIBE始终实现了最先进的性能。代码可在https://github.com/Gorilla-Lab-SCUT/TRIBE上获取。