提出一种测试时反馈方法来解决视觉 - 语言模型的输出与任务目标之间的不匹配问题，以避免模型过拟合于其不正确的输出分布。具体而言，采用 CLIP 作为奖励模型，在不同的任务中，包括图像分类、图像文本检索和图像标题生成等。通过强化学习，以最大化 CLIP 奖励为目标来进行单一测试样本的训练。经过广泛实验，证明了这种测试时反馈方法可以显著提高不同的视觉 - 语言模型的结果。

May, 2023

我们提出了一种名为 BaFTA 的新型零样本学习算法，通过在投影嵌入空间中使用在线聚类来估计类别质心并动态地聚合预测，从而在效果和效率上持续优于最先进的测试时间自适应方法。

Jun, 2024

TDA 是一种训练 - free 的动态适配器，通过轻量级的键值缓存和逐步的伪标签细化，以及引入负伪标签，实现了有效和高效的测试时自适应。

Mar, 2024

通过研究大型视觉 - 语言模型，特别是 CLIP，有效的调整技术，主要关注软提示调整，这催生了一系列研究。与此同时，测试时数据增强正在成为一个重要的研究领域，它利用图像的多个增强视角来增强零样本泛化能力。相反，我们提出了一种用于测试时数据增强的稳健均值漂移（MTA）方法，它超越了基于提示的方法，而无需进行繁琐的训练过程。此方法是独立和基于 API 的应用的理想解决方案。此外，我们的方法不依赖于一些先前测试时数据增强技术中使用的临界规则（例如置信度阈值）来过滤增强视角。相反，MTA 将每个视角的质量评估变量直接融入其优化过程中，称为内在得分。这个得分与密度模式寻找过程一起进行优化，从而实现了一种高效的无需训练和调整超参数的方法。我们在 15 个数据集上进行了广泛的基准测试，并展示了 MTA 的优越性和计算效率。MTA 可以轻松部署在零样本模型和最新的少样本方法之上，展示了系统和一致的改进。

May, 2024

本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示， 以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

Sep, 2022

通过快慢测试时适应（FSTTA）方法，解决视觉语言导航（VLN）模型的适应性与稳定性困境，实现模型的快速自适应和稳定回归，获得卓越的性能提升。

Nov, 2023

本文研究了针对分布漂移进行测试时间自适应（TTA）的方法，在各种函数类中元学习 TTA loss 能够迅速获得与熵函数类似的 loss 函数，并基于最优 loss 函数提供了更好的 TTA 方法。同时，在新型的 supervised training loss 函数中，我们的方法也显示了优异的表现，为改善测试时间自适应提供了广阔的框架。

Jul, 2022

该论文提出了一种基于视觉提示的测试时适应方法，通过冻结预训练模型并为每个测试图像训练特定的提示来解决医学图像中的分布偏移问题，并在两个医学图像分割基准任务上表现出优越性。

Nov, 2023

通过引入测试时间原型偏移（Test-Time Prototype Shifting，TPS）框架，我们在共享嵌入空间中调制每个类别的原型，动态地学习每个原型的偏移向量，从而弥合领域差距，提高分类准确性，并在减少资源需求的情况下取得创新性能的优势。

Mar, 2024

本研究介绍了 Weight Average Test-Time Adaptation (WATT) 方法，通过使用多样的文本模板和文本整合策略，增强了 CLIP 模型的测试性能，提高对不同领域转变的适应能力。该方法在多个具有挑战性的数据集上取得了显著的增益，而无需额外的模型转换或可训练模块。

Jun, 2024