使用 Mixture-of-Expert 范例，将问题空间划分为子区域，为每个区域构建专业专家，通过演示集和一条指令来实现任务的智能引导。

Jun, 2024

本文介绍了一种利用大型语言模型作为数据增强工具的技术，即利用软提示的混合模型进行参数有效的数据生成，并通过去噪机制提高生成数据的质量，此方法能够在复杂预测任务中实现对标签语义的保留，达到优于强基准的最新结果。

Mar, 2023

通过分解原始提示，基于混合提示专家（MoPE）技术实现了适应性捕获数据集级别和实例级别特征，并借助多模态配对先验在每个实例上选择最有效的提示语，从而提高了多模态融合的表达能力和可扩展性。在专家路由方面引入了正则化项，导致不同专家专注于不同概念，实现了可解释的软提示。通过对三个多模态数据集进行广泛实验，证明了我们的方法在性能上达到了最先进的结果，甚至超过了微调，并且仅需占用可训练参数的 0.8%。

Mar, 2024

该研究提出采用多专家模型集成的方式，使用不同的预测方法来解决传统单一模型难以泛化的问题，以在回答来自各种领域的问题时更好地表现。

May, 2023

通过提出多维任务提示学习方法（MTPrompt），将更多的任务相关信息嵌入提示中，以激发大型语言模型中嵌入的知识，从而实现在少样本和五个不同数据集上取得最佳结果，并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。

Dec, 2023

本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

May, 2023

该研究提出了一种多级提示调优方法来增强机器阅读理解，通过利用任务特定、领域特定和上下文相关的提示，提高了输入语义在不同层次上的理解能力。同时，引入了独立性约束来避免冗余，并利用上下文相关知识生成合适的提示。在各种问答格式的 12 个基准测试中进行了广泛实验，相比最先进的方法，平均改进率达到了 1.94%。

Oct, 2023

大语言模型 (LLM) 在许多任务上展现出了令人印象深刻的性能。然而，为了实现最佳性能，仍然需要特殊设计的提示方法。在这项工作中，我们试图引入通用提示的概念，它在设计原则上旨在在广泛的任务范围内实现最佳或接近最佳的性能，同时消除了手动选择和定制面向特定问题的提示的需求。此外，我们提出了一种创新的提示方法 MeMo（心智模型），它设计简单但有效地满足通用提示的要求。MeMo 将各种提示方法的要点提炼成个别的心智模型，并允许 LLMs 自主选择最合适的心智模型来解决问题，在零样本设置下在 STEM、逻辑推理和常识推理等多种任务上达到或接近于最新的研究结果。我们希望本文所提出的见解能够激发更多对 LLMs 的通用提示方法的探索。

Feb, 2024

通过结合人类设计的反馈规则，采用基于遗传算法的大语言模型驱动的离散提示优化框架，实现了对多步任务中自动提示的改进，相比现有的方法，平均有 27.7% 和 28.2% 的改善效果。

Feb, 2024

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在 23 个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有 0.035％的特定于任务的参数被调整。

Mar, 2023