ACLMay, 2022

文本生成的转移提示学习

PDF
TL;DR本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。
发现论文，激发创造
  • 关于 prompt tuning 在自然语言处理中的可迁移性

    本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

    Nov, 2021

  • 面向实例感知的提示学习用于语言理解和生成

    本文提出了一种基于实例的提示学习方法，用于不同实例的学习。该方法在双向和单向的 PLMs 上得到了相当大的提升，并在 SuperGLUE few-shot learning 基准测试上实现了最好的结果。

    Jan, 2022

  • 基于提示的少样本表格文本生成适配器

    本文介绍了一种基于 Prompt-based Adapter (PA) 的方法，通过注入 prompt 模板对特定领域的知识和表格相关的表示进行数据增强，从而在少量样本情况下实现表格到文本的生成任务。相比之前的方法，在 Humans、Books 和 Songs 等三个数据集上，此方法表现更好。

    Feb, 2023

  • 上下文调整：为自然语言生成学习上下文化提示语

    本文提出了一种新的连续提示方法，称为上下文调整，用于对预训练语言模型进行微调以进行自然语言生成，可以根据输入文本生成上下文化的提示，然后使用连续的反向提示来改进过程自然语言生成的过程。

    Jan, 2022

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024

  • IDPG：一种实例相关的提示生成方法

    本文提出了一种新的 NLP 迁移学习范式，称为 Prompt Tuning，该范式在模型训练阶段为每个输入实例添加任务特定的提示，并使用 Instance-Dependent Prompt Generation (IDPG) 生成每个输入实例的提示，在 10 个自然语言理解任务中得到了较好的性能。

    Apr, 2022

  • 领域泛化的软提示生成

    大型预训练视觉语言模型（VLMs）在下游任务中展现出令人印象深刻的零 - shot 能力，但人工设计的提示对特定领域不够优化。本文提出了一种用于下游任务的软提示方法，通过在特定域数据上进行微调，将软提示作为学习向量。我们从生成的角度重构了提示学习框架，并提出了一种简单而高效的域泛化（DG）任务方法，即软提示生成（SPG）。在训练阶段，我们引入了每个领域的软提示标签，以融合生成模型的领域知识。在推理阶段，生成模型的生成器被用来获取未知目标域的实例特定软提示。对三个域泛化任务的五个领域泛化基准进行的大量实验证明了我们提出的 SPG 方法达到了最先进的性能。代码将很快提供。

    Apr, 2024

  • 个性化文本生成的自动提示改写

    通过自动修订提示符来进行个性化文本生成的研究。

    Sep, 2023

  • PerPLM：通过特定作家中间学习和提示个性化微调预训练语言模型

    利用个性化中间学习提取作家文本的任务无关特征，通过使用作家特定提示来个性化统一的预训练语言模型，提高文本理解任务的准确性。

    Sep, 2023