分布式学习
本论文提出了一种检索增强的提示学习方法(RePrompt),通过引入检索机制来对下游任务进行知识表示的缓存,该方法在 15 个视觉数据集上进行了广泛实验,包括 11 个在少样本设置下的下游任务和 4 个域泛化基准,在处理领域差异增加时取得了明显的改进。
Jun, 2023
本文介绍了一种新的概率提示学习方法,利用可学习的类别不可知属性提示描述对象类的通用属性,并与类别信息和视觉上下文知识相结合,定义类别特定的文本分布,通过使用概率像素文本匹配损失来指导密集预测任务,增强了所提出方法的稳定性和泛化能力。实验结果表明了我们提出的方法的有效性。
Apr, 2023
本文提出一种叫做上下文提示学习的框架,用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示,通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。
Jul, 2023
通过对多模态提示的直接分析,我们发现多模态提示主要通过引入可学习的偏差项来改进预训练模型在相应数据集上的识别性能,从而提出了偏差调优的方法,并证明了该方法在数据集分类信息有限的情况下较多模态提示具有更好的效果。
Dec, 2023
利用贝叶斯框架中的 Prompt 学习方法,通过建模数据相关先验,减轻少样本学习中的过拟合问题,提高提示信息对未知样例的适应性,并展示相对现有方法在基准数据集上显著性能改进的统计结果。
Jan, 2024
通过学习大规模数据的知识,预训练的视觉 - 语言模型(VLMs)在各种下游任务中表现出色。本文提出了分布感知的提示微调(DAPT),通过对齐两种模态之间的特征空间,并对每种模态的嵌入进行良好排列,显著改善了模型的泛化能力。
Sep, 2023
研究使用变分推理解决 Empirical Risk Minimization 在 prompt learning 中的分布偏移问题,在 15 个用例中通过 Bayesian prompt learning 实现了更好的泛化性能。
Oct, 2022
这篇文章介绍了一种基于贝叶斯概率理论的视觉 - 语言预训练模型关键词学习方法,该方法通过优化可视化知识和充分利用图像与相应提示的语义联系,在充分表达不同特性的同时保证泛化性能,该方法具有良好的转移性能和泛化性能,结果表明该方法比一般的提示工程技术更加优秀。
Mar, 2023
通过减小分布偏移,将零样本泛化的视觉 - 语言模型在未见领域中的性能提升了 3.08%,并且在跨数据集泛化的情况下,在所有数据集上相对于现有的最先进方法有一致的改进。
Nov, 2023
本文提出一种简单且有效的视觉提示方法,用于将预训练模型适应下游识别任务。并重新引入了两种常用技术,即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8%的平均准确率的记录,并提供了代码。
Dec, 2022