EMNLPApr, 2022

预训练语言模型的对比演示调整

PDF
TL;DR本文提出一种新颖的对比演示调整方法，它是可插拔、可扩展和高效的，可用于调整预先训练的语言模型来执行分类任务。实验结果表明，这种方法与先前的方法 LM-BFF 和 P-tuning 相结合可以提高性能。
pretrained language modelstextual promptsdemonstration tuningprompt-tuninglarge classification tasks
发现论文，激发创造
  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 针对具有鉴别力的预训练语言模型的提示调节

    该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。

    May, 2022

  • 动态提示：一种用于提示调整的统一框架

    本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明 DP 能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

    Mar, 2023

  • Prompt-Tuning 在使用多语言语言模型进行跨语言理解方面比 Fine-Tuning 更好

    本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用 prompt-tuning 进行多语言 NLU 任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning 在跨数据集跨语言传递方面比微调表现更好，而且只需调整 0.1% 到 0.3% 的参数。此外，分析表明，prompt tuning 可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

    Oct, 2022

  • 属性控制的对话提示

    该论文介绍了一种新颖的基于实例控制代码的提示调整算法来探索其对于对话生成的影响，该算法不同于传统的离散提示和连续提示，可以适应输入变化较大的任务，如开放领域对话生成，并在经典数据集上实验证明其比提示基线更好，而参数却只需用到总计量的 5-6%。

    Jul, 2023

  • 生成多模态预训练模型的 Prompt 调整

    本文探讨将 Prompt 调参应用于多模态预训练，使用基于生成模型的统一序列到序列的预训练模型，实现轻量级 Prompt 调参，并与微调进行比较，通过实验研究发现 Prompt 调参具有改善鲁棒性的优点，但也存在一些局限性，给出了未来研究的方向。

    Aug, 2022

  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024

  • 改进提示调整中的文本语义是否可以提高 VLM 的泛化能力？

    通过利用来自大型语言模型（LLM）的类别描述，我们引入了一种基于部分级别描述引导的图像和文本特征对齐方法，以构建更加可泛化的提示，并通过在 11 个基准数据集上的全面实验验证，超越了现有方法，取得了实质性的改进。

    May, 2024

  • 使用 Prompt Tuning 对生成式口语模型进行探索，以处理语音处理任务

    本研究首次探讨了基于生成式口语语言模型 (GSLM) 的提示调整范式用于语音处理任务，实验结果表明，与下游精细调整模型相比，提示调整技术使用的可调参数更少，在语音分类任务中实现了较高性能。

    Mar, 2022

  • 无需微调？代码智能中的提示微调实验评估

    研究表明预训练模型在很多代码智能任务中具有很好的效果，但由于不同形式的输入难以完全利用预训练模型的知识，这篇论文通过在代码智能任务中进行提示调整，探索它对模型性能和低资源情况的影响，实验表明相对于微调，提示调整在三项代码智能任务中都能实现更好的表现，特别是在低资源情况下表现更为优秀。

    Jul, 2022