语义分割中经典的测试时自适应方法的关键研究

Oct, 2023

语义分割中经典的测试时自适应方法的关键研究

A Critical Look at Classic Test-Time Adaptation Methods in Semantic Segmentation

Chang'an Yi, Haotian Chen, Yifan Zhang

TL;DR经过综合研究，我们发现语义分割中经典的测试时适应方法在解决问题上存在一些挑战，批量归一化更新策略对结果只带来轻微改善，师生方案使训练过程稳定但不会直接提高性能，长尾不平衡问题严重影响语义分割性能。

Abstract

test-time adaptation (TTA) aims to adapt a model, initially trained on training data, to potential distribution shifts in the test data. Most existing TTA studies, however, focus on classification tasks, leaving

test-time adaptation semantic segmentation classification batch norm updating long-tailed imbalance

发现论文，激发创造

图像分类中针对分布偏移的实时适应性评估

通过建立一个基准测试来评估和比较测试时间调整方法在提高模型稳健性和泛化性能方面的有效性，我们提供了一个可靠的评估方式，并探索了不同测试时间调整方法与不同网络骨干的兼容性。

Jul, 2023

分布偏移下测试时间适应的综合调查

本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

Mar, 2023

单幅图像测试时自适应分割

优化自监督损失进行测试时间段的自适应图像分割模型，采用多种基线方法及改进，并引入对抗训练来提高性能。

Sep, 2023

少数点击即可：主动测试时间适应语义分割

在这项工作中，我们通过引入人机协同测试模式，提出了一种简单而有效的 ATASeg 框架，它通过极少量的注释实现了 TTA 方法和有监督方法之间的性能差距的弥合。

Dec, 2023

动态野外环境中稳定的测试时适应性

论文通过分析测试样本及训练数据的分配差异，发现批处理层对测试时间调整法的不稳定性有重要影响。作者提出了一种基于群组及层规范化的调整稳定方法，并提出一种名为 SAR 的方法，通过消除嘈杂测试样本及鼓励模型权重保持平稳的最小值，从两个方面进一步稳定 TTA，效果比先前方法更稳定，且在上述野外测试方案下计算效率更高。

Feb, 2023

关于测试时适应性的陷阱

本文提出了针对测试时间适应（TTA）的测试基准 TTAB，通过实验表明：在线批次依赖性使得选择适当的超参数尤其是选择模型极为困难，TTA 的有效性取决于模型的质量和属性，并且即使在最优算法条件下，现有方法也无法处理所有常见类型的分布转移，因此需要在更广泛的模型和转移集上进行严格评估和重新审视 TTA 的实证成功条件。

Jun, 2023

无遗忘的高效测试时间模型自适应

本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

Apr, 2022

共轭伪标签测试时调整

本文研究了针对分布漂移进行测试时间自适应（TTA）的方法，在各种函数类中元学习 TTA loss 能够迅速获得与熵函数类似的 loss 函数，并基于最优 loss 函数提供了更好的 TTA 方法。同时，在新型的 supervised training loss 函数中，我们的方法也显示了优异的表现，为改善测试时间自适应提供了广阔的框架。

Jul, 2022

动态场景下的鲁棒性测试时间适应

本研究提出了一种适用于实际测试数据流的鲁棒测试时间自适应方法，其中包括批量归一化方案、内存库和师生模型，能够稳定地应用于动态实际应用场景中。

Mar, 2023

主动测试时间适应：理论分析与算法

使用主动学习在完全的测试时间适应设置中，通过限制标记测试实例的数量，提高测试领域之间的整体性能，同时避免灾难性遗忘，从而在测试时间适应（TTA）下解决领域偏移的问题。

Apr, 2024