ACLJan, 2024

ToPro: 跨语言序列标注任务的令牌级提示分解

PDF
TL;DR通过将输入句子分解为单个标记并对每个标记应用一个提示模板，我们提出了一种名为 ToPro 的基于提示的方法，用于标记任务的标记级序列标注。在多语言 NER 和 POS 标记数据集上的实验证明，与 Vanilla fine-tuning 和 Prompt-Tuning 相比，ToPro-based fine-tuning 在零样本跨语言迁移方面表现优秀，尤其对于与源语言英语在语言类型上有所不同的语言。此外，我们在多语言大语言模型上的初步研究表明，ToPro 的性能要远远优于当前的上下文学习方法。总体而言，性能的提升表明 ToPro 有望成为标记任务的一种新颖且简单的基准方法。
prompt-based methodstoken-level sequence labeling taskstoprozero-shot cross-lingual transferbenchmarking method
发现论文，激发创造
  • MixPro: 基于提示学习的简单而有效的数据增强

    使用数据增强方法 MixUp 来改善远程任务模板的不足，使模型效率提高并在少样本学习上实现更好的表现。

    Apr, 2023

  • 关于条件和组合语言模型可微提示的研究

    本研究提出了一种基于生产系统的模型 PRopS，可以通过学习将任务说明或输入元数据转换为连续提示以从 PLMs 中产生特定的输出，从而取得了比其他迁移学习技术更好的结果。

    Jul, 2023

  • 分解促使：揭示英语为中心的大型语言模型中的多语言语言结构知识

    该研究介绍了分解提示方法，用于探究英语为中心的大型语言模型在序列标注任务中对语言结构的理解能力，其研究结果表明分解提示优于迭代提示基线，在零样本和少样本情况下具备更高的效用和效率，并发现评估方法和提示中的指令使用对结果有影响，同时发现英语为中心的语言模型在多语言任务中表现优于多语言模型，从而对英语为中心的语言模型的多语言可迁移性进行了深入研究，为了解其多语言语言知识做出了贡献。

    Feb, 2024

  • TransPrompt v2：跨任务文本分类的可迁移提示框架

    TransPrompt v2 是一种具有传递性的促进框架，用于跨相似或远距离文本分类任务的少样本学习，通过多任务元知识获取 (MMA) 过程和两项去偏技术，该元学习器可以在多个 NLP 任务和数据集上优于单任务和跨任务强基线，并改善预先未见任务上预训练语言模型的性能，同时在使用完整训练集进行学习时也优于强调优基线。

    Aug, 2023

  • 提示作为探究：利用语言模型进行知识库构建

    本文提出了一种名为 ProP 的方法，它利用 GPT-3 这个大型语言模型进行知识库构建任务，结合多种提示技巧，结果表明手动提示的重要性、变长回答集的有效用处以及实体别名字典的效用等，从而获得了较高的预测质量。

    Aug, 2022

  • 通过多语言提示翻译进行自然语言推理的跨语言迁移

    基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架 —— 多语言提示翻译器（MPT），通过引入多语言提示翻译器来适当处理嵌入在提示中的重要知识，同时保留任务知识。在 XNLI 的少样本设置中，MPT 表现出了比基线方法更突出的改进，当转移到与源语言相当不同的语言时，MPT 比普通提示更为突出。

    Mar, 2024

  • 零样本跨语言 Prompt 调整的统一多语言 Prompt 传递

    本文提出了一种使用 UniPrompt 的新型模型，其使用单一的多语言 prompt 并且具有语言不可知性，可以显著提高在零样本跨语言设置下的转移性能。

    Feb, 2022

  • 多提示与深度分割的跨模态学习

    本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

    May, 2023

  • Protum: 一种基于 [MASK] 的新的提示调整方法

    本文提出了一种基于 'MASK' token 编码的 Prompt Tuning 方法 ——Protum，通过隐藏层信息构造分类任务并直接预测标签，相较于 fine-tuning，该方法在较短的时间内连续预训练后取得了更好的性能。

    Jan, 2022

  • 实例需更加小心：为实例重写提示可提高零 - shot 性能

    为了提高大型语言模型的零样本性能，我们提出了 PRoMPTd 方法，通过为每个测试输入重写任务提示来实现更具体、明确和完整的指导，实现了对不同任务的更好解决方案，并提供了更好的解释性以应对对抗性提示。

    Oct, 2023