PETAL 是一种基于概率视角和部分数据相关先验的测试时间自适应方法，利用 Fisher 信息矩阵的数据驱动模型参数重置机制应对非平稳目标领域转移，实验结果表明 PETAL 在多个基准测试数据集中表现出更好的预测性能和不确定性指标。

Dec, 2022

对视觉 - 语言模型的测试时间适应性策略进行系统探索，包括提示工程策略和现有的测试时间适应方法，以提高模型在真实场景中的适应性和鲁棒性。

May, 2024

该论文提出了一种新颖的在线评估协议，用于对测试时间自适应（TTA）方法进行评估，通过为较慢的方法提供更少的自适应样本来惩罚它们。我们将该协议应用于多个数据集和场景中，评估了几种 TTA 方法，并表明当考虑推理速度时，简单快速的方法可以胜过更复杂但较慢的方法。

Apr, 2023

本研究综述了在线测试时间适应（OTTA）的全貌，着重研究机器学习模型在新数据分布上的适应能力。通过将 OTTA 技术归类为三个主要类别，并使用强大的 Vision Transformer（ViT）基础模型进行基准测试，我们揭示了真正有效的策略。同时，引入了新的评估指标以衡量在在线场景中的效率和适应精确度与计算开销之间的权衡。研究结果表明，变换器表现出对不同领域转换的高度弹性，很多 OTTA 方法的功效取决于充足的批次大小，并且在适应过程中对优化的稳定性和对干扰的抵抗力至关重要，特别是在批次大小为 1 的情况下。基于这些发现，我们指出了未来研究的有希望的方向。源代码将会公开。

Oct, 2023

本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

Mar, 2023

研究表明，零温度的 TTA 方法（ZERO）能够在只进行一次前向传播的情况下，准确性大大超过或与现有技术相当，且速度约为 10 倍快，内存占用约为 13 倍少。

May, 2024

TDA 是一种训练 - free 的动态适配器，通过轻量级的键值缓存和逐步的伪标签细化，以及引入负伪标签，实现了有效和高效的测试时自适应。

Mar, 2024

大规模语言模型在很多语言任务上取得了最先进的性能。然而，它们在针对对抗性语言示例时失败了，这些句子被精心优化以欺骗语言模型，但对人类来说具有类似的语义意义。我们的方法可以动态地适应输入句子并使用屏蔽词的预测结果，从而修复许多语言对抗攻击，而不需要任何训练。在两个流行的句子分类数据集上进行的可视化和实证结果表明，我们的方法能够修复超过 65% 的对抗性语言攻击。

Oct, 2023

本文提出了针对测试时间适应（TTA）的测试基准 TTAB，通过实验表明：在线批次依赖性使得选择适当的超参数尤其是选择模型极为困难，TTA 的有效性取决于模型的质量和属性，并且即使在最优算法条件下，现有方法也无法处理所有常见类型的分布转移，因此需要在更广泛的模型和转移集上进行严格评估和重新审视 TTA 的实证成功条件。

Jun, 2023

本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。 同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

Apr, 2022