Dude: 大规模视觉 - 语言模型的双分布感知上下文提示学习

Jul, 2024

Dude: 大规模视觉 - 语言模型的双分布感知上下文提示学习

Dude: Dual Distribution-Aware Context Prompt Learning For Large Vision-Language Model

Duy M. H. Nguyen, An T. Le, Trung Q. Nguyen, Nghiem T. Diep, Tai Nguyen...

TL;DR基于大型语言模型，使用前期训练的上下文知识和少量的训练数据来自定义大视觉语言模型到新的领域的快速学习方法，通过结合隐式和显式因素，提高模型特征表示，并通过不同的质量分布来确保可处理无关或噪声元素，从而使得 Unbalanced Optimal Transport (UOT) 理论与图像增强的特点相融合，同时在保证样本合理距离的情况下扩展训练样本池，通过在少样本分类和适配器设置等广泛实验证明了我们模型的优越性。

Abstract

prompt learning methods are gaining increasing attention due to their ability to customize large vision-language models to new domains using pre-trained contextual knowledge and minimal training data. However, ex

prompt learning methods large vision-language models dual prompt methods unbalanced optimal transport few-shot classification

发现论文，激发创造

双对齐下的上下文感知视觉 - 语言模型提示调优

利用双重对齐提示调整 (DuAl-PT)，结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和基于新样本泛化上取得了卓越的性能，为未来研究提供了强有力的基准。

Sep, 2023

基于最优输运的 PLOT 方法用于视觉语言模型的提示学习

这篇文章提出了一种利用 optimal transport 算法将视觉与文本模态进行匹配的方法，在此基础上学习出多种全面的 prompt，优化输入图像的分类效果，两阶段优化策略取得了很好的效果。

Oct, 2022

视觉语言理解的情境提示学习

本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

Jul, 2023

分布式学习

提出了基于提示分布学习的方法，从而通过有效地适应先前训练的视觉 - 语言模型来处理下游的识别任务，该方法不仅从少量样本中学习低偏差的提示，而且还捕获多种提示的分布以处理不同的视觉表示。

May, 2022

OT-VP: 测试时间自适应的最优传输引导视觉提示

Optimal Transport-guided Test-Time Visual Prompting (OT-VP) leverages prompt learning at test time to align target and source domains without altering pre-trained model parameters, achieving significant improvements in accuracy on benchmark datasets.

Jun, 2024

面向视觉 - 语言模型的分布感知提示调整

通过学习大规模数据的知识，预训练的视觉 - 语言模型（VLMs）在各种下游任务中表现出色。本文提出了分布感知的提示微调（DAPT），通过对齐两种模态之间的特征空间，并对每种模态的嵌入进行良好排列，显著改善了模型的泛化能力。

Sep, 2023

视觉语言模型的提示学习

本文介绍了如何使用 CoOp, 一种基于学习来应用 CLIP vision-language 模型用于下游图像识别任务的简单方法，以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题，并证明其比手工制作的提示更好。

Sep, 2021

对齐您的提示：基于分布对齐的零样本泛化的测试时提示

通过减小分布偏移，将零样本泛化的视觉 - 语言模型在未见领域中的性能提升了 3.08%，并且在跨数据集泛化的情况下，在所有数据集上相对于现有的最先进方法有一致的改进。

Nov, 2023

LAPT：基于标签驱动的自动提示调整用于视觉 - 语言模型的 OOD 检测

标签驱动的自动提示调整（LAPT）是一种用于模型的可靠性的 OOD 检测的新方法，通过自动产生有标签的训练样本和分布感知提示优化，LAPT 在用于挑战性的全频谱 OOD 检测任务中表现出卓越性能，不仅增强了标识与 OOD 样本之间的区别，还提高了标识分类准确性和泛化鲁棒性。

Jul, 2024

大语言模型的公平指导少样本提示

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023