CVPROct, 2022

MaPLe: 多模态提示学习

PDF
TL;DR本研究提出了多模态提示学习 (MaPLe) 的方法，旨在通过不同的早期阶段分别学习视觉和语言分支的独立提示，以逐步建模分阶段的特征关系，并促进视觉 - 语言提示之间的强耦合，以改善 CLIP 的下游任务结果。结果表明，该方法具有良好的性能和广泛的应用前景。
clipvision-language modelsprompt learningmulti-modalgeneralization
发现论文，激发创造
  • APLe: 多模态提示学习的逐令牌自适应

    通过使用 Token-wise Adaptive for Multi-modal Prompt Learning (APLe) 在顺序方式中对视觉和语言两个模态的提示进行调整，APLe 解决了视觉 - 语言模型中的挑战，提高了提示学习的性能，具有与最先进技术相媲美的泛化性能。

    Jan, 2024

  • 视觉 - 语言模型的多模态特征提示

    我们提出了一种多模态属性提示方法（MAP），通过同时探索文本属性提示、视觉属性提示和属性级对齐来解决大规模预训练视觉 - 语言模型（VLMs）在少样本情况下的一些局限性，实验结果表明我们的方法在 11 个数据集上表现优于现有方法。

    Mar, 2024

  • COMMA: 共同表达多模式学习

    本研究提出了 Co-Articulated Multi-Modal Learning (COMMA) 方法，通过联合考虑视觉和语言分支的提示来增强两者的表示对齐，并减轻预训练模型中基本知识的遗忘，实现在多个任务中对新类别、新目标数据集和未见域漂移的良好性能提升。

    Dec, 2023

  • MmAP：用于跨领域多任务学习的多模态对齐提示

    利用多模态对齐提示（MmAP）和创新的多任务提示学习框架，本文在多任务学习中实现了显著的性能改进，同时仅利用约 0.09％的可训练参数。

    Dec, 2023

  • APoLLo：统一的视觉语言模型适配器与提示学习

    APoLLo 是一种统一的多模态方法，结合了 Adapter 和 Prompt 学习用于增强 Vision-Language 模型在 few-shot 环境下的泛化能力，通过引入可训练的交叉注意力适配器层和视觉与语言编码器来加强两种模态之间的对齐，并通过确保编码器分支之间的一致性来防止过拟合，在新颖类别的 10 个不同图像识别数据集上，APoLLo 相对于 MaLPe (SOTA) 实现了高达 6.03% 的相对增益。

    Dec, 2023

  • 概念引导下的提示学习进行视觉 - 语言模型泛化

    通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

    Jan, 2024

  • 视觉语言模型的提示学习

    本文介绍了如何使用 CoOp, 一种基于学习来应用 CLIP vision-language 模型用于下游图像识别任务的简单方法，以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题，并证明其比手工制作的提示更好。

    Sep, 2021

  • 视觉语言模型的无监督提示学习

    本文提出了一种无监督提示学习（UPL）方法，以避免提示工程并同时提高类似 CLIP 的视觉语言模型的传递性能。该方法实验结果显示，在 ImageNet 以及其他 10 个数据集上，与原始 CLIP 相比，UPL 具有更优秀的传输表现，并且增强版的 UPL 在大多数数据集上甚至能够与 8-shot CoOp 和 8-shot TIP-Adapter 竞争。

    Apr, 2022

  • 深度交互的跨模态提示学习

    本文提出了一种基于 CLIP 的深度交互式跨模态提示学习（DCP）方法，可实现视觉和语言之间的灵活相互作用，通过良好连接的多头注意力模块逐步强且稳定地交换各自的表示，并在 11 个图像分类数据集上进行综合少样本学习实验和域自适应能力分析，实验结果显示 DCP 表现出了超凡的少样本泛化性能和具有吸引力的域适应能力。

    May, 2023

  • MAPL: 针对视觉语言少样本提示的单模态预训练模型参数高效自适应

    MAPL 是一种有效的参数少、可复用预训练模型并利用其在多模态视觉语言领域中的强大泛化能力的方法，能够将不同模态的模型的表示空间通过对齐的图像文本数据进行轻量级映射，从而在现场学习过程中减少训练量并产生较好的性能。

    Oct, 2022