ACLSep, 2021

无需模板的少样本命名实体识别指令微调

PDF
TL;DR本文提出了一种更优雅的方法，将 NER 任务重新制定为 LM 问题，同时探索了自动搜索合适的标签词的方法，该方法避免了复杂的基于模板的过程，并且实验证明其在少量样本情况下表现更佳，并且解码速度比基于模板的方法快了 1930.12 倍。
prompt-based methodsfew-shot learningnerpre-training modelslm problems
发现论文，激发创造
  • PromptNER: 命名实体识别提示

    本文介绍了 PromptNER 算法，将大型语言模型与有限训练样本相结合，实现跨领域、少量样本下的命名实体识别任务，相对于传统方法，取得了十分显著的性能提升。

    May, 2023

  • 基于提示的度量学习用于小样本命名实体识别

    本研究提出了一种使用多重提示架构和度量学习方法来解决 few-shot named entity recognition 中标注语义缺陷的问题，并在 18 个场景中实现了新的最先进结果，平均相对增益为 8.84％，最大相对增益为 34.51％。

    Nov, 2022

  • PromptNER: 命名实体识别的提示定位与分类

    本研究提出了将实体定位和实体类型识别整合到 prompt learning 中的双插槽多提示模板，可在平行预测插槽上提取所有实体，并设计了一种动态模板填充机制来分配插槽的标签。在各种设置下进行实验，我们的模型在交叉域 few-shot 设置中实现了显着的性能提高。

    May, 2023

  • InstructionNER: 一个多任务基于指令的生成框架，用于少样本 NER

    本文提出了一种基于多任务指令的生成式框架 InstructionNER，用于低资源的命名实体识别。实验结果表明，我们的方法在少样本任务中始终优于其他基线模型。

    Mar, 2022

  • 基于 BART 的模板化命名实体识别

    该论文提出了一种基于模板的方法，将 NER 视为一种序列到序列的语言模型排序问题，在推理过程中，模型需要根据相应的模板分数对每个候选实体进行分类，实验结果表明，该方法在 CoNLL03 数据集上取得了 92.55% 的 F1 得分，在 MIT Movie、MIT Restaurant 和 ATIS 数据集上也分别比 BERT 微调方法显着提高了 10.88%、15.34% 和 11.73% 的 F1 得分。

    Jun, 2021

  • Few-shot Fine-tuning 的构建：以命名实体识别为例进行语言模型预训练的试验研究

    本篇研究提出了一种基于预训练模型且更贴近预训练目标的新型 few-shot fine-tuning 框架 FFF-NER，应用于命名实体识别任务上，经过一系列实验及消融研究，确认其比现有序列标记、原型元学习和提示式方法等现有方法能够更有效改善 NER 性能。

    May, 2022

  • 优秀的示范使学习更快：针对低资源 NER 的简单基于演示的学习

    本文提出了一种演示为基础的命名实体识别学习方法，研究了演示策略对模型在低资源情况下性能的影响，并在领域内学习和领域适应中证明了良好的演示可以节省很多标记示例并促进更好的性能表现。

    Oct, 2021

  • ContrastNER: 基于对比的提示调整用于少样本 NER

    该论文提出了 ContrastNER，一个基于提示的命名实体识别框架，使用离散和连续的标记来学习对话。通过对比学习的方法，ContrastNER 在高资源设置中获得了与现有技术同样的性能，并在低资源环境中胜过现有模型。

    May, 2023

  • 少样本命名实体识别：综合研究

    本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

    Dec, 2020

  • 短文本分类的 Prompt-Learning

    本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题，并在三个著名数据集上实验，结果比其他方法均取得了显著提高。

    Feb, 2022