ICCVAug, 2023

视觉 - 语言少样本学习的只读提示优化

PDF
TL;DR最近几年，迅速调整在适应下游任务的预训练视觉语言模型方面已被证明是有效的。我们提出了一种新颖的方法，只读提示优化 (RPO)，它利用遮罩注意力来防止预训练模型中的内部表示偏移。我们的实验结果表明，RPO 在基于新的泛化和域泛化方面优于 CLIP 和 CoCoOp，同时具有更好的鲁棒性。此外，该方法在极度数据不足的情况下实现了更好的泛化，同时改善了参数效率和计算开销。
发现论文，激发创造
  • 针对越狱攻击的强化预设优化

    通过使用梯度优化的方法，我们提出了一种防御语言模型遭受恶意输入攻击的算法，Robust Prompt Optimization (RPO)，有效地降低了对抗性攻击的成功率，并在黑盒模型中表现出了良好的转移能力。

    Jan, 2024

  • 视觉语言模型的提示学习

    本文介绍了如何使用 CoOp, 一种基于学习来应用 CLIP vision-language 模型用于下游图像识别任务的简单方法，以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题，并证明其比手工制作的提示更好。

    Sep, 2021

  • 视觉语言提示学习中的重参数化编码器

    PRE 是一种简单而高效的方法，通过使用一种 prompt 编码器来重新参数化输入 prompt 嵌入，从而增强对从少量样本中探索任务特定知识的能力，其在新类上实现了 5.60% 的平均准确率提升和 3% 的调和平均数提升。

    Sep, 2023

  • 语义残差指令用于持续学习

    通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

    Mar, 2024

  • 重新参数化的低秩提示：在 0.5K 参数范围内泛化视觉语言模型

    通过重新参数化低秩提示（RLP），我们设计了一种新型提示，用于高效和有效地适应基于视觉和语言的模型，并显著增加了传统提示调整的平均下游准确性，仅使用 0.5K 的参数。

    Dec, 2023

  • 检索增强的视觉提示学习用于少样本分类

    本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

    Jun, 2023

  • 多提示与深度分割的跨模态学习

    本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

    May, 2023

  • 视觉 - 语言模型中零 - shot 泛化的测试时提示调整

    本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示， 以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

    Sep, 2022

  • 冻结视觉语言模型的测试时视觉识别中的上下文提示学习

    通过测试样本的无监督目标，在视觉识别任务中使用上下文提示学习来适应预训练的视觉 - 语言模型，并取得了在各种下游数据集上的有效结果。

    Mar, 2024

  • 基于策略梯度的离散提示优化的对话式激励在小样本学习中的应用

    基于对话的基于策略梯度的离散提示优化方法通过多轮对话适应性策略生成可读性提示集，并提出了具有线性复杂度的高质量提示筛选度量和基于策略梯度的强化学习框架，优于四个开源数据集上平均 1.52％的最先进方法，在只使用少量的预训练语言模型参数进行学习的少样本设置中，$DP_2O$ 具有良好的通用性、稳健性和泛化能力。

    Aug, 2023