IJCAIJul, 2023

关于条件和组合语言模型可微提示的研究

PDF
TL;DR本研究提出了一种基于生产系统的模型 PRopS，可以通过学习将任务说明或输入元数据转换为连续提示以从 PLMs 中产生特定的输出，从而取得了比其他迁移学习技术更好的结果。
language modelpromptspropstransfer learningfew-shot learning
发现论文，激发创造
  • 可微提示提升预训练语言模型少样本学习能力

    该研究提出了一种名为 DifferentiAble pRompT（DART）的方法，可以将小型语言模型转换为更好的 few-shot learners，而无需进行任何提示工程设计。该方法通过将潜在的自然语言处理任务重新定义为预训练语言模型的任务，并使用反向传播差分优化调整提示模板和目标标签等方面来实现。进一步，该方法可以插接到任何预训练语言模型上，并扩展到广泛的分类任务，综合评估表明，该方法可以取得更好的 few-shot 性能。

    Aug, 2021

  • 提示作为探究：利用语言模型进行知识库构建

    本文提出了一种名为 ProP 的方法，它利用 GPT-3 这个大型语言模型进行知识库构建任务，结合多种提示技巧，结果表明手动提示的重要性、变长回答集的有效用处以及实体别名字典的效用等，从而获得了较高的预测质量。

    Aug, 2022

  • 面向实例感知的提示学习用于语言理解和生成

    本文提出了一种基于实例的提示学习方法，用于不同实例的学习。该方法在双向和单向的 PLMs 上得到了相当大的提升，并在 SuperGLUE few-shot learning 基准测试上实现了最好的结果。

    Jan, 2022

  • 自然语言处理中提示方法的系统调查：预训练、提示和预测

    该研究论文调查和组织了一种新兴的自然语言处理范式，这种范式被称为 “基于提示的学习”，并在其中介绍了其基础知识和数学符号，以及其在预训练模型、提示和调整策略等方面的相关研究成果，该框架通过使用模板将输入 x 修改为具有一些未填充信息的文本字符串提示 x'，并将语言模型用于填充未填充信息以获得最终字符串 x，从而实现零样本学习和少样本学习。

    Jul, 2021

  • PROPANE：逆问题中的即时设计

    本研究提出了一个自动化提示优化框架 PROPANE，旨在找到一个提示，能够在没有用户干预的情况下诱导出与给定示例语义相似的输出。进一步证明 PROPANE 可以用于改进现有提示，并发现在模型之间传输的语义混淆提示。

    Nov, 2023

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 上下文调整：为自然语言生成学习上下文化提示语

    本文提出了一种新的连续提示方法，称为上下文调整，用于对预训练语言模型进行微调以进行自然语言生成，可以根据输入文本生成上下文化的提示，然后使用连续的反向提示来改进过程自然语言生成的过程。

    Jan, 2022

  • 使用冻结语言模型的临床提示学习

    研究了 prompt learning 对临床应用决策任务的可行性，并与传统的微调方法进行了直接比较。结果部分符合 prompt learning 文献，提示学习能够在可训练参数更少和需要更少的训练数据的情况下与传统微调相匹配或改进，可以作为一种可替代越来越大的预训练语言模型微调的较低计算资源成本，适用于临床环境。

    May, 2022

  • PerPLM：通过特定作家中间学习和提示个性化微调预训练语言模型

    利用个性化中间学习提取作家文本的任务无关特征，通过使用作家特定提示来个性化统一的预训练语言模型，提高文本理解任务的准确性。

    Sep, 2023

  • 通过动态视觉提示将预训练语言模型应用于视觉语言任务

    本文旨在研究使用预训练语言模型（Pre-trained language models，PLMs）作为一个独立的模型来进行视觉语言推理任务。提出了一个名为 Dynamic Visual Prompting（DVP）的新型转移学习方法，通过搜索算法，在保持 PLMs 参数完整性的情况下，有效地将其与不同的视觉语言任务相结合。经过广泛的实验验证，DVP 在效率和性能方面都具有优势，并且能够很好地适应预训练语言模型与 VL 任务相结合的需求。

    Jun, 2023