Aug, 2023

一种具有任务特定预训练的多任务语义分解框架用于少样本命名实体识别

PDF
TL;DR通过多任务预训练的多任务语义分解框架，通过引入基于示范和对比学习的两种新型预训练任务（示范式遮蔽语言建模和类对比判别），能够有效地融入实体边界信息并加强预训练语言模型中的实体表示。在下游主任务中，通过语义分解方法引入多任务联合优化框架，使模型能够整合两种不同的语义信息进行实体分类，实验证明该方法在两个少样本命名实体识别基准测试中始终优于强基线模型，并通过广泛的分析验证了其有效性和泛化能力。
few-shot named entity recognitionmulti-task semantic decomposition frameworkpre-trainingdemonstration-based masked language modelingclass contrastive discrimination
发现论文，激发创造
  • 一种原型语义解耦方法通过联合对比学习用于少样本命名实体识别

    本文提出了一种通过联合对比学习实现原型语义解耦的方法 ——PSDC，以应对现有基于原型的序列标注模型往往会记忆实体提及的问题，PSDC 采用两种掩码策略将类别特定原型和上下文语义原型进行解耦，以便模型专注于两种不同的语义信息以进行推理，实验结果表明 PSDC 在两个 few-shot NER 基准测试中表现出了优秀的性能。

    Feb, 2023

  • 拆分元学习用于少样本命名实体识别

    本文介绍了一种分解元学习方法，通过元学习逐步解决了少样本命名实体识别中的少样本跨度检测和少样本实体类型划分问题，并在各种基准测试中证明了该方法优于以往方法的卓越性能。

    Apr, 2022

  • 少样本实体识别的混合多阶段解码方法与实体感知对比学习

    我们提出了混合多阶段解码的少样本命名实体识别方法，通过实体跨度检测和实体分类的两个阶段，结合对比学习模块以增强实体表示，实现了在少样本情况下识别新类型命名实体的能力。

    Apr, 2024

  • 少样本命名实体识别：综合研究

    本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

    Dec, 2020

  • 从语言描述中学习：基于分解框架的低样本命名实体识别

    该研究提出了一个基于预训练语言模型的新型 NER 框架：SpanNER，在低资源环境下的 few-shot 学习、领域转移和 zero-shot 学习设置中，可以识别从未出现的实体类，通过实验可知其相比于最佳基准线平均能提高 10％，23％和 26％。

    Sep, 2021

  • 应对 Few-shot 命名实体识别中的重复训练和样本依赖问题的研究

    我们的研究提出了一个改进的少样本命名实体识别流程，利用预训练的跨领域跳板标识检测器和大规模语言模型，有效减少了基本特征的重复训练，同时消除了对少样本的依赖，通过广泛的实验表明，在各种数据集上，我们的模型在细粒度少样本命名实体识别方面胜过基线模型，包括 ChatGPT。

    Jun, 2024

  • Few-shot Fine-tuning 的构建：以命名实体识别为例进行语言模型预训练的试验研究

    本篇研究提出了一种基于预训练模型且更贴近预训练目标的新型 few-shot fine-tuning 框架 FFF-NER，应用于命名实体识别任务上，经过一系列实验及消融研究，确认其比现有序列标记、原型元学习和提示式方法等现有方法能够更有效改善 NER 性能。

    May, 2022

  • 基于大规模标签解释学习的少样本命名实体识别

    利用自然语言描述学习实体类型解释，通过大规模扩展实体类型和描述，可以显著提高零样本和少样本命名实体识别。

    Mar, 2024

  • 命名实体识别任务中的少样本分类

    本论文研究使用（基于度量学习的）原型网络来进行少样本命名实体识别任务，其可以学习单词的中间表示并对其进行聚类来进行类别分类，通过将该技术与迁移学习结合使用，可以在只有很少的训练实例的情况下实现良好的分类器，进而实现零样本学习。

    Dec, 2018

  • 一种基于本地检测的命名实体识别多任务学习方法

    本研究尝试通过组合多个具有一定关系但不同内容的命名实体识别数据集，使用基于 FFNN 的局部探测多任务模型从变长单词序列生成理论上无损且唯一的固定大小表示，提高该领域任务的性能表现，实验结果表明，该模型在几乎所有任务中表现出有竞争力的性能。

    Apr, 2019