TeST: 分布偏移下的测试时自训练

Sep, 2022

TeST: Test-time Self-Training under Distribution Shift

Samarth Sinha, Peter Gehler, Francesco Locatello, Bernt Schiele

TL;DR该篇论文提出了一种 Test-Time Self-Training（TeST）技术，通过使用学生 - 老师结构学习不变和强鲁棒性表示来适应新的分布，进而提高模型在分布变化的测试时期的适应性，其结果显示，与现代域自适应算法相比，使用 TeST 的模型在目标检测和图像分割上达到了最新的测试时间域适应算法的最优水平。

Abstract

Despite their recent success, deep neural networks continue to perform poorly when they encounter distribution shifts at test time. Many recently proposed approaches try to counter this by aligning the model to t

deep neural networks distribution shifts test-time self-training domain adaptation object detection

发现论文，激发创造

自监督测试时间训练实现在分布偏移时的泛化

本文中，我们提出了测试时间训练的一般方法，通过将单个未标记的测试样本转化为自监督学习问题并在此基础上更新模型参数，从而改善预测模型在训练和测试数据来自不同分布时的性能，特别是在评估对分布的稳健性方面，我们的简单方法在各种图像分类基准测试中导致了改进。

Sep, 2019

分布偏移下测试时间适应的综合调查

本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

Mar, 2023

借助最近邻信息的自我训练实现测试时间适应

提出了一种新的测试时间自适应方法 Test-time Adaptation via Self-Training with nearest neighbor information (TAST)，其利用最近邻信息生成伪标签并通过自训练进行分类，能够在领域一般化和图像破坏等方面取得优于现有方法的性能。

Jul, 2022

通过置信度最大化和输入变换对分布偏移进行测试时间适应

该论文研究深度神经网络在非训练时数据分布下表现不佳的问题，提出一种全测试时间适应的解决方案，通过使用替代熵和添加基于批次的熵最大化的多样性正则化器来解决熵最小化的早期收敛和不稳定性问题，并且可以通过在完全测试时间适应性损失中学习无需目标域标签或源域数据的输入变换模块，从而达到在 ImageNet-C 等挑战性基准测试中提高公共预训练图像分类器鲁棒性的效果。

Jun, 2021

测试时训练语音

本文研究了测试时间训练（TTT）在处理语音应用中的分布偏移问题的应用。我们引入分布偏移到标准语音分类任务的测试数据集中，并探索了测试时间训练（TTT）如何帮助调整到分布偏移。在我们的实验中，包括背景噪声和语音中的性别和年龄等自然变化引起的分布偏移，我们确定了 TTT 面临的一些关键挑战，包括对优化超参数（例如，优化步数和选择 TTT 的参数子集）的敏感性以及可扩展性（例如，由于每个示例都有自己的参数集，TTT 不具有可扩展性）。最后，我们提出使用 BitFit 作为解决上述挑战的参数高效微调算法，BitFit 仅考虑偏差参数进行微调，并证明它相对于微调模型的所有参数更加稳定。

Sep, 2023

测试时间自适应的特征对齐和统一性

该研究探讨了测试时间自适应的方法，使用特征修正、自我蒸馏以及空间本地化聚类等技术，提高了医学图像分割任务的性能，进一步提高了现有测试时间适应方法的性能表现。

Mar, 2023

ClusT3: 信息不变的测试时间训练

深度学习模型在各种视觉任务中展现出卓越的性能，但它们常常容易受到测试时的领域转移所影响。为了缓解这些脆弱性，已经开发了测试时训练（TTT）方法，在训练时同时解决了主任务和次要任务，以在测试时作为自监督代理任务。在本文中，我们提出了一种基于多尺度特征图和离散潜在表示之间相互信息最大化的新型无监督 TTT 技术，它可以作为一项辅助聚类任务整合到标准训练中。实验结果表明，在不同的常见测试时适应基准上具有竞争力的分类性能。

Oct, 2023

图像分类中针对分布偏移的实时适应性评估

通过建立一个基准测试来评估和比较测试时间调整方法在提高模型稳健性和泛化性能方面的有效性，我们提供了一个可靠的评估方式，并探索了不同测试时间调整方法与不同网络骨干的兼容性。

Jul, 2023

通过权重集成、多样性加权和先验校正实现通用的测试时适应

本文提出了一种名为 ROID 的方法，该方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等多项技术手段，解决了在线测试时自适应的问题，以及由于多种因素引起的模型性能下降问题。该方法在多种数据集、模型和场景下进行了评估，并在普遍 TTA 领域取得了新的标准。

Jun, 2023

MT3: 自监督测试时适应的元测试时间训练

利用 Meta Test-Time Training 的方式结合 Meta-learning 和 Self-supervised Learning，来使深度神经网络在测试时能够应对域漂移的问题，从而提高其在 CIFAR-10-Corrupted 图像分类基准测试中的表现。

Mar, 2021