Nov, 2023

通用 NER：金标准多语言命名实体识别基准

PDF
TL;DR介绍了一个名为 Universal NER (UNER) 的开源项目，旨在开发多种语言的黄金标准 NER 基准；UNER 的目标是提供高质量的、跨语言一致的标注，以促进和标准化多语言 NER 研究。UNER v1 包含使用一致的跨语言模式在 12 种不同语言中注释的 18 个数据集。在本文中，我们详细介绍了 UNER 的数据集创建和组成，并提供了在本语言和跨语言学习设置下的初始建模基线。我们向公众发布了数据、代码和拟合模型。
universal nerner benchmarksmultilingual ner researchdataset creationcross-lingual learning
发现论文，激发创造
  • 跨数据集和语言学习开放式命名实体识别的通用实体分类

    通过构建一个通用的、包含 400 多种实体类型的数据集 B2NERD，并使用减少冗余的数据修剪策略，在开放领域命名实体识别方面，提高了大型语言模型的泛化性能，优于 GPT-4 和以往的方法。

    Jun, 2024

  • MSNER：一个用于命名实体识别的多语言语音数据集

    该研究介绍了 MSNER，一个多语种语音语料库，用于命名实体识别，并提供了用于训练、验证和评估的数据集，同时推出了一个高效的标注工具。

    May, 2024

  • POLYGLOT-NER：大规模多语言命名实体识别

    本研究展示如何使用维基百科和 Freebase 自动构建 40 种主要语言的多语言命名实体识别注释器，不需要任何人工标注数据集或语言特定的资源，通过生成分布式词表示，达到竞争性的表现，并提出了一种新的远程评估方法。

    Oct, 2014

  • MultiCoNER：一个用于复杂命名实体识别的大型多语言数据集

    介绍了一种名为 MultiCoNER 的大型多语言数据集，可支持 11 种语言和 3 个领域的命名实体识别。使用两个 NER 模型对数据集进行了测试，并对其进行了评估。建立的模型都表现出了不俗的性能，但加入 Gazetteers 后性能提高了 30%。希望这个数据集能够帮助研究人员建立更为健壮的命名实体识别系统。

    Aug, 2022

  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021

  • NuNER：通过 LNN 标注数据进行实体识别编码器预训练

    利用大型语言模型，本研究表明如何创建 NuNER，这是一种专注于命名实体识别（NER）任务的紧凑语言表示模型，可以进行低数据需求的微调，该模型在 few-shot 情景下胜过了类似大小的基础模型，并与更大的语言模型竞争。研究发现预训练数据集的大小和实体类型多样性是取得良好性能的关键。我们将 NuNER 视为最近由语言模型解锁的任务特定基础模型之一。

    Feb, 2024

  • PUnifiedNER: 一个基于提示的统一 NER 系统，适用于多样数据集

    本文提出了一种基于提示学习技术的统一命名实体识别系统 (PUnifiedNER)，该系统能够在不同领域同时识别高达 37 种实体类型，相比基于特定数据集的模型，能够显著提高预测性能并大大降低模型部署成本。同时，在某些数据集上，PUnifiedNER 的性能甚至可以达到甚至超越领域特定方法的最高水平。

    Nov, 2022

  • DualNER：用于零样本跨语言命名实体识别的双重教学框架

    本文提出了一种名为 DualNER 的简单有效方法，通过联合序列标注和跨度预测两种方法的多任务框架，使用注解的源语言语料库和无标签的目标语言文本进行跨语言命名实体识别，并引入实体感知的正则化来增强不同语言中相同实体之间的内在跨语言对齐。实验和分析证明了 DualNER 的有效性。

    Nov, 2022

  • WikiGoldSK：斯洛伐克命名实体识别的注释数据集、基线和少样本学习实验

    本研究旨在解决某些语种尚未存在高质量手动标注数据集的现状，并通过引入 WikiGoldSK 数据集，评估了最先进的多语言预训练语言模型在斯洛伐克语上的效果，并与现有的银标准斯洛伐克 NER 数据集进行了比较。我们还进行了几个示范性实验，并显示使用一个银标准数据集进行训练可以获得更好的结果。最终，我们公开了数据集、代码和经过训练的模型，并采用可许可的许可条款。

    Apr, 2023

  • 零资源跨语言命名实体识别

    本文提出一种基于词级对抗训练、参数共享和特征增强的无监督跨语言命名实体识别模型，可在不依靠双语词典或平行数据的情况下，将命名实体知识从一种语言转移到另一种语言。通过对五种不同语言的实验表明，该模型的有效性优于现有模型，并为每个语言对设置了新的 SOTA。

    Nov, 2019