视觉语言模型泛化的不变测试时间适应
本文提出一种新的视觉语言模型fine-tuning方式——CLIP-Adapter，通过在原训练模型上加入新特征层并进行残差式混合来实现，在各种视觉分类任务中表现优异，优于context optimization
Oct, 2021
本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的CLIP模型动态调整提示， 以最小化模型预测时的不确定度，提高CLIP模型的泛化能力。实验结果表明，TPT方法在自然情况下的zero-shot top-1准确率比以往方法的提升3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。
Sep, 2022
提出一种测试时反馈方法来解决视觉-语言模型的输出与任务目标之间的不匹配问题，以避免模型过拟合于其不正确的输出分布。具体而言，采用CLIP作为奖励模型，在不同的任务中，包括图像分类、图像文本检索和图像标题生成等。通过强化学习，以最大化CLIP奖励为目标来进行单一测试样本的训练。经过广泛实验，证明了这种测试时反馈方法可以显著提高不同的视觉-语言模型的结果。
May, 2023
通过在推理过程中自动构建文本提示并使用其作为文本监督，CLIPArTT方法在不需要额外培训的情况下，通过独特的、最小侵入性的文本提示调优过程，使预训练视觉-语言模型在各种数据集和环境中动态提升性能并改善适应性。
May, 2024
通过研究大型视觉-语言模型，特别是CLIP，有效的调整技术，主要关注软提示调整，这催生了一系列研究。与此同时，测试时数据增强正在成为一个重要的研究领域，它利用图像的多个增强视角来增强零样本泛化能力。相反，我们提出了一种用于测试时数据增强的稳健均值漂移（MTA）方法，它超越了基于提示的方法，而无需进行繁琐的训练过程。此方法是独立和基于API的应用的理想解决方案。此外，我们的方法不依赖于一些先前测试时数据增强技术中使用的临界规则（例如置信度阈值）来过滤增强视角。相反，MTA将每个视角的质量评估变量直接融入其优化过程中，称为内在得分。这个得分与密度模式寻找过程一起进行优化，从而实现了一种高效的无需训练和调整超参数的方法。我们在15个数据集上进行了广泛的基准测试，并展示了MTA的优越性和计算效率。MTA可以轻松部署在零样本模型和最新的少样本方法之上，展示了系统和一致的改进。
May, 2024
对视觉-语言模型的测试时间适应性策略进行系统探索，包括提示工程策略和现有的测试时间适应方法，以提高模型在真实场景中的适应性和鲁棒性。
May, 2024
本研究解决了将预训练模型适应开放类场景的挑战，尤其是在新类出现时提示的通用性不足问题。通过提出一种测试时提示调优的方法，利用最大概念匹配评分生成输入条件的提示，从而增强模型性能。实验表明，该方法在多个数据集上优于现有所有对比方法，具有显著提升效果。
Aug, 2024
本研究解决了视觉语言模型提示调整中手工和模板化提示缺乏通用性的问题。通过将软提示与手工提示视为文本模态的双重视角，并最大化它们的互信息，研究提出了一种新的方法来增强任务特定信息和一般语义信息的结合。此外，引入的视觉模态类增广技术显著提升了对未见类的鲁棒性。该方法在多个基准测试中的评估结果表明，其在特定任务性能和一般能力方面均具竞争力。
Oct, 2024