EMNLPNov, 2022

预训练模型与原型神经网络在少样本命名实体识别中的调和

PDF
TL;DR介绍了在 few-shot 命名实体识别中将大规模预训练模型与原型神经网络相结合的范例。基于 9 个基准数据集的实验结果表明，该论文提出的归一化方法优于对应的模型，并可与现有最先进的方法相当。同时，该论文也为解决依赖于预训练模型或原型神经网络的 few-shot 命名实体识别或其他任务提供了分析视角。
pre-trained modelsprototypical neural networksfew-shot named entity recognitionnormalization methodbenchmark datasets
发现论文，激发创造
  • 少样本命名实体识别：综合研究

    本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

    Dec, 2020

  • 命名实体识别任务中的少样本分类

    本论文研究使用（基于度量学习的）原型网络来进行少样本命名实体识别任务，其可以学习单词的中间表示并对其进行聚类来进行类别分类，通过将该技术与迁移学习结合使用，可以在只有很少的训练实例的情况下实现良好的分类器，进而实现零样本学习。

    Dec, 2018

  • 基于实体级原型网络和分散分布式原型 模型增强的小样本命名实体识别

    EP-Net is proposed to improve labeled dependency and prototype distribution in few-shot named entity recognition, achieving better performance than previous models.

    Aug, 2022

  • 基于因果干预的少样本命名实体识别

    本文提出一种基于因果干预的少样本 NER 方法，通过背门调整和增量学习干预原型，避免了少样本选择偏差所带来的虚假相关性问题，并在不同基准测试中取得了新的最佳表现。

    May, 2023

  • Few-shot Fine-tuning 的构建：以命名实体识别为例进行语言模型预训练的试验研究

    本篇研究提出了一种基于预训练模型且更贴近预训练目标的新型 few-shot fine-tuning 框架 FFF-NER，应用于命名实体识别任务上，经过一系列实验及消融研究，确认其比现有序列标记、原型元学习和提示式方法等现有方法能够更有效改善 NER 性能。

    May, 2022

  • 一种原型语义解耦方法通过联合对比学习用于少样本命名实体识别

    本文提出了一种通过联合对比学习实现原型语义解耦的方法 ——PSDC，以应对现有基于原型的序列标注模型往往会记忆实体提及的问题，PSDC 采用两种掩码策略将类别特定原型和上下文语义原型进行解耦，以便模型专注于两种不同的语义信息以进行推理，实验结果表明 PSDC 在两个 few-shot NER 基准测试中表现出了优秀的性能。

    Feb, 2023

  • 利用多原型嵌入桥接文本和知识，进行少样本关系三元组提取

    本文提出了一种新的多原型嵌入网络模型，旨在共同提取关系三元组的组成，即实体对和相应的关系，通过设计一种混合的原型学习机制来连接文本和关于实体和关系的知识，从而注入实体和关系之间的隐式相关性，并提出原型感知正则化来学习更具代表性的原型，实验结果表明，该方法可以提高少样本三元组提取的性能。

    Oct, 2020

  • 预训练语言模型中的记忆与泛化

    本研究通过研究先进的预训练语言模型在嘈杂和低资源环境下的一般化和记忆能力，发现这些模型的训练对标签噪声几乎没有影响，但并不适用于低资源任务，而基于原型网络的扩展则能提高识别低资源命名实体时的性能。

    Apr, 2021

  • 面向历史德语的鲁棒命名实体识别

    应用预训练的基于字符的语言模型，成功提升了历史德语低资源命名实体识别准确性，并相较于经典 CRF-based 方法和 Bi-LSTMs，提高了高达 6% 的 F1 得分表现。

    Jun, 2019

  • SpanProto: 两阶段基于 Span 的原型网络用于少样本命名实体识别

    本文介绍了一种基于 SpanProto 和 prototypical learning 的 few-shot NER 方法，并使用 margin-based loss 进一步提高了模型性能。实验表明，该模型在多个基准测试中表现优异。

    Oct, 2022