研究使用变分推理解决Empirical Risk Minimization在prompt learning中的分布偏移问题，在15个用例中通过Bayesian prompt learning实现了更好的泛化性能。

Oct, 2022

该论文提出了一种基于提示正则化的新模式，用于在下游任务中微调大规模视觉语言预训练模型。通过提示预训练模型进行预测，来规范微调，从而保持其对迁移领域的高性能。同时，通过引入 Kullback-Leibler 损失等手段，自适应权衡预训练与下游任务训练过程中的差异，进一步提高模型性能。

Jan, 2023

通过重新参数化低秩提示（RLP），我们设计了一种新型提示，用于高效和有效地适应基于视觉和语言的模型，并显著增加了传统提示调整的平均下游准确性，仅使用0.5K的参数。

Dec, 2023

通过 Prompt Meta-Regularization (ProMetaR) 方法，可以提高视觉语言模型中 prompt 学习的泛化能力，并可以从梯度对齐的角度解释这种改进。

Apr, 2024

通过研究大型视觉-语言模型，特别是CLIP，有效的调整技术，主要关注软提示调整，这催生了一系列研究。与此同时，测试时数据增强正在成为一个重要的研究领域，它利用图像的多个增强视角来增强零样本泛化能力。相反，我们提出了一种用于测试时数据增强的稳健均值漂移（MTA）方法，它超越了基于提示的方法，而无需进行繁琐的训练过程。此方法是独立和基于API的应用的理想解决方案。此外，我们的方法不依赖于一些先前测试时数据增强技术中使用的临界规则（例如置信度阈值）来过滤增强视角。相反，MTA将每个视角的质量评估变量直接融入其优化过程中，称为内在得分。这个得分与密度模式寻找过程一起进行优化，从而实现了一种高效的无需训练和调整超参数的方法。我们在15个数据集上进行了广泛的基准测试，并展示了MTA的优越性和计算效率。MTA可以轻松部署在零样本模型和最新的少样本方法之上，展示了系统和一致的改进。

May, 2024

对视觉-语言模型的测试时间适应性策略进行系统探索，包括提示工程策略和现有的测试时间适应方法，以提高模型在真实场景中的适应性和鲁棒性。

May, 2024

针对使CLIP适应现实世界的挑战，我们提出了一种名为Candle的新框架，通过引入新的损失函数、跨模态注意力和虚拟原型来实现高效、长尾泛化，该方法在11个不同数据集上展示出了卓越的性能，并大大减少了训练时间。

Jun, 2024

通过引入正交微调方法和交叉正则化策略，本文提出的OrthCR提升了视觉-语言模型（VLMs）的稳健性和泛化能力，同时保持了零样本泛化的稳定性。

Jul, 2024

本研究解决了在视觉语言模型提示预训练中有限可学习提示面临的欠拟合风险和泛化能力不足的问题。我们提出了一种通用框架——重新审视提示预训练（RPP），通过引入不共享的个体查询、键和值学习提示及利用预训练CLIP教师模型的软标签，来提升模型的适应能力和泛化性能。实验表明，RPP在多个基准测试中表现出色，证明了其在各类视觉识别任务中的强大传递能力。

Sep, 2024

本研究针对现有视觉-语言模型（VLM）在下游任务中因过拟合导致的泛化能力下降问题，提出了LOBG框架。通过使用CLIP过滤细粒度前景信息，并结合结构拓扑保持（STP）损失和层级逻辑蒸馏（HLD），显著提升了模型的泛化能力，减轻了过拟合现象。

Oct, 2024