- 用智能 Mixture of Prompts 消除 LLM 任务适应的异质性
采用混合启示法和智能门控功能的多任务学习可以显著降低语言模型的困惑度。
- 零迁移连续提示：跨语言模型泛化任务语义
我们提出了一种零射击连续提示转移方法，通过将源提示编码为相对空间，并搜索相应的目标模型来传输，实验证实了我们方法的有效性，连续提示中的 “任务语义” 可以在各种语言模型中进行泛化。此外，我们发现从多个源模型中汇集 “任务语义” 可以进一步增 - 适用于逆问题的激发调整潜在扩散模型
我们提出了一种使用文本到图像潜在扩散模型作为通用先验来解决图像逆问题的新方法。我们引入了一种 prompt 调整方法，通过在运行反向扩散过程时动态优化文本嵌入，使得我们能够生成更符合扩散先验的图像。此外，我们提出了一种投影方法，以保持潜在变 - 关于提示调整中技能神经元与稳健性的关系
Prompt Tuning 是一种流行的参数高效微调方法，可以在预训练的大型语言模型（PLMs）中激活特定的技能神经元，并与 T5 和 RoBERTa 模型的对抗鲁棒性进行比较。我们发现，对特定任务进行微调的提示可以迁移到相同类型的任务，但 - 优化预训练语言模型加速专题投资
Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。
- DePT: 解耦式提示调节
该研究通过解决提示调整中的基础 - 新任务权衡困境，提出了一种基于 Decoupled Prompt Tuning (DePT) 框架的方法，通过将基础特定知识与特征通道解耦，最大程度地保留原特征空间中的任务共享知识，从而在新任务中实现更好 - DePT: 分解式提示调整用于参数高效微调
通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化，我们提出了分解提示调优（DePT）。通过在 23 个自然语言处理（NLP）和视觉语言（VL）任务上的广泛实验，我们证明了 DePT 在某些情景下优于最先进的参数高效 - ICCV面向视觉 - 语言模型的分布感知提示调整
通过学习大规模数据的知识，预训练的视觉 - 语言模型（VLMs）在各种下游任务中表现出色。本文提出了分布感知的提示微调（DAPT），通过对齐两种模态之间的特征空间，并对每种模态的嵌入进行良好排列，显著改善了模型的泛化能力。
- ICCV视觉 - 语言少样本学习的只读提示优化
最近几年，迅速调整在适应下游任务的预训练视觉语言模型方面已被证明是有效的。我们提出了一种新颖的方法，只读提示优化 (RPO)，它利用遮罩注意力来防止预训练模型中的内部表示偏移。我们的实验结果表明，RPO 在基于新的泛化和域泛化方面优于 CL - SLPT：基于限制标签的病变分割的选择性标定与提示调整
使用深度学习进行医学图像分析时，由于有限的标记数据和高昂的注释成本，往往面临挑战。本文提出了一种将选择性标记与提示调整相结合的框架（SLPT），以提高有限标签下的性能，同时保持预训练模型不变，通过仅使用有限标记数据对这些参数进行更新。该框架 - PromptSum: 参数高效的可控抽象自动摘要
PromptSum 方法结合 Prompt 调优技术、多任务目标和离散实体提示，实现了在高效参数、高效数据和可控性三重条件下的强大自动摘要性能。
- ICCV规范化的蒙版调整：揭示预训练视觉语言模型中的隐藏知识
我们设计了一种名为正则化掩码调优的新型调优方法，在下游任务中通过学习的选择来屏蔽网络参数，从而将前期训练阶段中隐藏的有用知识重新引入到视觉语言模型中，通过实验证明了这种方法在不同数据集上的优越性能。
- 提示类别探讨弱监督语义分割中的提示类别学习的力量
本文介绍了一种新的 PrOmpt cLass lEarning (POLE) 策略，在弱监督语义分割（WSSS）问题上实现最先进的性能，并强调了语言 - 视觉模型在 WSSS 中的优势和提示学习在该问题中的潜力。
- 跨越鸿沟：基于神经崩溃启发的提示调整，应对分类不平衡的普适性
本文通过研究类别不平衡对大规模视觉语言模型的影响，提出了一种基于神经坍塌现象的 Prompt Tuning 方法 (NPT) 来增强其鲁棒性，并在 11 个不同的图像识别数据集上展开了综合实验，结果表明 NPT 在不平衡数据条件下的表现优于 - 用于视觉语言预训练模型的近似提示调优
本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。
- MuDPT: 针对大型预训练视觉语言模型的多模式深层联合调整
本文介绍了一种基于多模态深度共生的 Prompt Tuning 方法，通过学习一个模型无关的变换网络，实现了深度的双向自然语言和视觉信息融合，在图像识别和领域外泛化方面表现优异。
- POP：面向连续学习的提示
本文提出了 Prompt Of Prompts (POP) 模型，它通过逐步学习一组任务特定 prompt 和一组全局 prompt 的方式来捕捉多个任务之间的信息集成，并证明这个模型在少样本情况下能够优于传统的 CL 方法。
- Sticker820K: 通过表情包强化交互检索
提出了一个大规模的中文贴纸数据集，Sticker820K，以及一个基于该数据集的 StickerCLIP 模型，其在贴纸数据集上的文本到图像检索任务中表现出强大的优势，并引入了 prompt tuning 技术扩展 LLM 模型的能力。
- TKDP: 三重知识增强的深度提示调整用于少样本命名实体识别
本文提出了一种向深度提示调整框架中集成三方面知识以实现强大的 few-shot NER 的方法，即内部上下文知识和外部标签和义原知识，并在五个基准数据集上进行了验证，结果表明，该方法在 5/10/20-shot 设置中优于 8 个强基准系统 - ProTeCt：适用于分层一致性的提示调整
该研究提出了一种基于 prompt tuning 的技术，名为 Protect，用于校准模型在不同标签集粒度下的分类准确性，并且结果表明 Protect 可以显著提高开放粒度分类性能，同时不会降低原始分类水平的性能。