ICMLJun, 2024

DeCoOp：具有 OD 检测的鲁棒提示调节

PDF
TL;DR该研究论文介绍了一种名为 Open-world Prompt Tuning (OPT) 的问题设置，通过引入 Decomposed Prompt Tuning framework (DePT) 解决 OPT 问题，并提出了一种名为 Decomposed Context Optimization (DeCoOp) 的新型 prompt tuning 方法，实验证明 DePT 的有效性，并显示 DeCoOp 相较于当前最先进的方法有着 2% 的平均准确率的提升。
发现论文，激发创造
  • IntCoOp：可解释性感知的视觉 - 语言提示调优

    通过引入属性级归纳偏差和类嵌入来提高图像 - 文本对齐分数的一种新颖的和可解释的提示调优方法。我们通过在 CLIP 上的广泛实验中评估 IntCoOp 来证明其有效性，并发现在 10 个不同领域的下游数据集上，引入属性级归纳偏差能够比现有的提示调优框架获得更好的性能，特别是在 16 张图片的情况下，IntCoOp 提高了 10 个不同数据集的平均表现 7.35%。

    Jun, 2024

  • 双对齐下的上下文感知视觉 - 语言模型提示调优

    利用双重对齐提示调整 (DuAl-PT)，结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和基于新样本泛化上取得了卓越的性能，为未来研究提供了强有力的基准。

    Sep, 2023

  • DePT: 解耦式提示调节

    该研究通过解决提示调整中的基础 - 新任务权衡困境，提出了一种基于 Decoupled Prompt Tuning (DePT) 框架的方法，通过将基础特定知识与特征通道解耦，最大程度地保留原特征空间中的任务共享知识，从而在新任务中实现更好的零样本泛化能力。

    Sep, 2023

  • 视觉语言模型的提示学习

    本文介绍了如何使用 CoOp, 一种基于学习来应用 CLIP vision-language 模型用于下游图像识别任务的简单方法，以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题，并证明其比手工制作的提示更好。

    Sep, 2021

  • 知识引导下的视觉语言提示调优

    本文提出了一种新的知识引导背景优化（KgCoOp）方法，通过减少学习提示和手工提示之间的差距，增强了学习提示在未知类别任务中的泛化能力，以实现更好的性能表现和更少的训练时间。

    Mar, 2023

  • MuDPT: 针对大型预训练视觉语言模型的多模式深层联合调整

    本文介绍了一种基于多模态深度共生的 Prompt Tuning 方法，通过学习一个模型无关的变换网络，实现了深度的双向自然语言和视觉信息融合，在图像识别和领域外泛化方面表现优异。

    Jun, 2023

  • 面向视觉 - 语言模型的分布感知提示调整

    通过学习大规模数据的知识，预训练的视觉 - 语言模型（VLMs）在各种下游任务中表现出色。本文提出了分布感知的提示微调（DAPT），通过对齐两种模态之间的特征空间，并对每种模态的嵌入进行良好排列，显著改善了模型的泛化能力。

    Sep, 2023

  • 测试时间域自适应的视觉提示调控

    本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案 (Data-efficient Prompt Tuning，DePT)，其使用镜像学习方式将交互式提示信息细化到视觉 Transformer 模型中，在测试时自适应调整模型引用的提示以提升模型对目标域的表示，且具有适用于许多测试适应问题的能力。

    Oct, 2022

  • DePT: 分解式提示调整用于参数高效微调

    通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化，我们提出了分解提示调优（DePT）。通过在 23 个自然语言处理（NLP）和视觉语言（VL）任务上的广泛实验，我们证明了 DePT 在某些情景下优于最先进的参数高效微调方法，包括完全微调基线。此外，我们的进一步研究揭示了 DePT 在模型规模增大时更加高效，并展示了 DePT 在少样本学习设置和各种模型架构和规模中的适应性。

    Sep, 2023

  • 改进提示调整中的文本语义是否可以提高 VLM 的泛化能力？

    通过利用来自大型语言模型（LLM）的类别描述，我们引入了一种基于部分级别描述引导的图像和文本特征对齐方法，以构建更加可泛化的提示，并通过在 11 个基准数据集上的全面实验验证，超越了现有方法，取得了实质性的改进。

    May, 2024