多提示与深度分割的跨模态学习

May, 2023

Multi-Prompt with Depth Partitioned Cross-Modal Learning

Yiqi Wang, Xianda Guo, Zheng Zhu, Yingjie Tian

TL;DR本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

Abstract

In recent years, soft prompt learning methods have been proposed to fine-tune large-scale vision-language pre-trained models for various downstream tasks. These methods typically combine learnable textual tokens with class tokens as input for models with frozen parameters. However, they often employ a single prompt to describe class contexts, failing to capt

vision-language pre-training multi-modal prompting generalization capabilities image recognition datasets state-of-the-art prompting methods

发现论文，激发创造

理解预训练的视觉语言模型的多模态提示

通过对多模态提示的直接分析，我们发现多模态提示主要通过引入可学习的偏差项来改进预训练模型在相应数据集上的识别性能，从而提出了偏差调优的方法，并证明了该方法在数据集分类信息有限的情况下较多模态提示具有更好的效果。

Dec, 2023

视觉语言理解的情境提示学习

本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

Jul, 2023

深度交互的跨模态提示学习

本文提出了一种基于 CLIP 的深度交互式跨模态提示学习（DCP）方法，可实现视觉和语言之间的灵活相互作用，通过良好连接的多头注意力模块逐步强且稳定地交换各自的表示，并在 11 个图像分类数据集上进行综合少样本学习实验和域自适应能力分析，实验结果显示 DCP 表现出了超凡的少样本泛化性能和具有吸引力的域适应能力。

May, 2023

PM2: 一种新的提示多模型模型范式用于少样本医学图像分类

在医学图像分类中，提出了一种基于多模型基础模型的新的提示多模型模型范例（PM2），通过多种提示方案以及线性探测技术，PM2 能够有效地应对医学图像分类的挑战并取得了最先进的性能。

Apr, 2024

多提示解码器有助于更好的语言理解

提出了一种用于适应 Model-as-a-Service 预训练语言模型的多提示解码器（MPD）框架，在少数据情况下通过多个不同的提示查询语言模型，从而提高了解码的质量和数据的利用率，实验结果表明在多个自然语言理解数据集上取得了最新的最好效果。

Jun, 2024

自适应多模态提示学习

提出了一种自适应多模式提示学习方法，通过同时考虑样本内外的泛化性和掩盖无意义的图像区域来解决当前提示学习方法存在的局限性，实验结果表明该方法在不同下游任务中优于现有方法。

Nov, 2023

MPrompt: 多级提示调优在机器阅读理解中的探索

该研究提出了一种多级提示调优方法来增强机器阅读理解，通过利用任务特定、领域特定和上下文相关的提示，提高了输入语义在不同层次上的理解能力。同时，引入了独立性约束来避免冗余，并利用上下文相关知识生成合适的提示。在各种问答格式的 12 个基准测试中进行了广泛实验，相比最先进的方法，平均改进率达到了 1.94%。

Oct, 2023

m3P: 走向多模多语翻译与多模提示

通过引入视觉语境作为通用的语言无关表示来促进多语言翻译的方法，该方法利用多模态提示来指导多模态多语言神经机器翻译，在低资源和大规模多语言场景下改善了翻译质量。

Mar, 2024

多模态融合的条件提示调节

利用一种多模态融合方法，通过一个模态的表示来引导另一个模态的参数高效提示，从而将预训练知识有效转移至多模态任务中。

Nov, 2023

跨模态调整多模式令牌级提示对齐

利用最优传输的多模式令牌级调优框架，发现了多种视觉概念，实现了精确的语义对齐，优于传统方法。

Sep, 2023