COLINGSep, 2021

NSP-BERT: 一种基于提示的少样本学习器，通过原始预训练任务进行 -- 接下来的句子预测

PDF
TL;DR本文利用 BERT 的原始预训练任务 Next Sentence Prediction（NSP）探索零样本学习场景下的自然语言处理任务，提出了基于句子级别的 NSP-BERT 方法，克服了标记级方法的固定长度和位置限制，可应用于实体链接等任务。作者还提出了多种下游任务的快速构建模板和两阶段提示方法。在 FewCLUE 基准测试中，NSP-BERT 在大多数任务上超过其他零样本方法，并接近少样本方法。
prompt-based learningnext sentence predictionnlp taskssentence-level prompt-based methodfewclue benchmark
发现论文，激发创造
  • 现代语言模型的损失函数

    本文探讨了 BERT 预训练在 NSP 任务上的影响以及其他 14 种可能的辅助预训练任务，并研究了将多个任务包含到预训练中的不同方法。实验证明，使用多种任务的多任务预训练框架比单个辅助任务更好地提高了结果表现，并在 GLUE 基准测试中打败了 BERT Base。

    Oct, 2020

  • 基于匹配样例的下句预测（MeNSP）：科学教育自动评分的零样本提示学习

    本研究开发了零样本学生答案自动评分方法 MeNSP，该方法采用预训练语言模型，无需人工标注样本即可实现自动评分，可显著降低模型训练成本。研究发现，该方法可以在科学教育中实现学生答案的自动评分，可以受益于低风险课堂评估实践，并建议在未来的研究中进一步探索 MeNSP 在科学教育不同类型的评估任务中的适用性和模型性能。

    Jan, 2023

  • 双向语言模型也是小样本学习器

    本研究提出了一种名为 SAP 的技术，旨在使双向语言模型具有提示功能。利用机器翻译任务作为案例研究，我们使用 SAP 提示双向 mT5 模型，并证明其少量示例和零量示例的翻译性能优于 unidirectional 模型，同时展示了 SAP 在问答和摘要生成中的有效性，证明提示学习是更广泛的语言模型类别的新兴属性而不仅仅是单向模型的特征。

    Sep, 2022

  • 克服提示扰动敏感性的零样本方法

    该研究旨在在零 - shot 设置中找到高质量的 prompt。我们的自动化方法使用位置、推理和释义技术生成多个与基本 prompt 类似的 prompt，然后使用新的度量标准对这些 prompt 进行排名。我们实验证明，排名靠前的 prompt 是高质量的，显著优于基本 prompt 和使用 few-shot learning 生成的 prompt，适用于句子级情感分类任务。

    May, 2023

  • 自然语言处理中提示方法的系统调查：预训练、提示和预测

    该研究论文调查和组织了一种新兴的自然语言处理范式，这种范式被称为 “基于提示的学习”，并在其中介绍了其基础知识和数学符号，以及其在预训练模型、提示和调整策略等方面的相关研究成果，该框架通过使用模板将输入 x 修改为具有一些未填充信息的文本字符串提示 x'，并将语言模型用于填充未填充信息以获得最终字符串 x，从而实现零样本学习和少样本学习。

    Jul, 2021

  • 挖掘式零样本学习：基于语言模型的搜索方法

    本文提出了一种使用正则表达式从未标记语料库中挖掘标记示例的替代模板提示方法，通过微调预训练模型，相比模板提示方法更加灵活和可解释，在使用相似模板时在多个任务中表现出更好的性能。

    Oct, 2022

  • 通用自适应提示

    通过研究，我们提出了一种自适应提示设计方法，能够使用只有少量未标记的数据和仅推理的 LLM 实现广泛的零 - shot 学习，该方法通过将 NLP 任务分类为三种类型，并使用相应的选择器选择最合适的查询和零 - shot 模型生成的响应作为伪证明，以完全自动化的方式将 ICL 推广到零 - shot 设置，从而呈现与少量 - shot 基线可比甚至优于的表现。

    May, 2023

  • 零样机任务推广的提示一致性

    本文探讨了如何利用未标记的数据以提高自然语言处理任务的零样本性能，并通过规范提示一致性来鼓励模型的一致预测，并取得了实验结果上的进展和成果。

    Apr, 2022

  • PromptNER: 命名实体识别提示

    本文介绍了 PromptNER 算法，将大型语言模型与有限训练样本相结合，实现跨领域、少量样本下的命名实体识别任务，相对于传统方法，取得了十分显著的性能提升。

    May, 2023

  • STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

    提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

    Oct, 2022