Oct, 2014

POLYGLOT-NER：大规模多语言命名实体识别

PDF
TL;DR本研究展示如何使用维基百科和 Freebase 自动构建 40 种主要语言的多语言命名实体识别注释器，不需要任何人工标注数据集或语言特定的资源，通过生成分布式词表示，达到竞争性的表现，并提出了一种新的远程评估方法。
multilingual annotatornamed entity recognitionword embeddingswikipediafreebase
发现论文，激发创造
  • 利用维基百科实体类型映射提高多语言命名实体识别性能

    使用维基百科作为开放知识库来改善多语言的命名实体识别系统，该方法的核心是构建高准确性、高覆盖高的跨语言维基百科实体类型映射，这些映射是基于弱标注数据构建的，可以扩展到新语言上。作者研发出多种方法来改进命名实体识别系统，实验证明这些方法在有限的训练数据和新领域下特别有效（F1 分数提高达 18.3）。

    Jul, 2017

  • 多语言命名实体识别中的转移来源

    本论文研究多语言命名实体识别问题，提出用多语言数据训练模型，并在单语言数据上进行微调，通过参数共享和微调提高多语言模型的性能。

    May, 2020

  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021

  • IXA/Cogcomp 参加 SemEval-2023 第 2 项任务：基于知识库的上下文增强的多语言命名实体识别

    本文介绍了一种新的命名实体识别级联方法，它由三个步骤组成：首先在输入句子中识别候选实体，然后将每个候选实体链接到现有的知识库中，最后预测每个实体候选的细粒度类别。实验证明，外部知识库在准确分类细粒度和新兴实体方面具有重要意义，并且我们的系统在 MultiCoNER2 共享任务中表现出强大的性能，即使在使用高资源语言的知识库情况下，也能在低资源语言环境中获得良好的表现。

    Apr, 2023

  • 通过有效的注释和表示投影进行弱监督的跨语言命名实体识别

    本文提出两种弱监督的跨语言实体标识方法，分别基于注释投影和词嵌入，无需使用目标语言的人工注释数据。同时，我们设计了两种协同解码方案，将两个基于投影的方法的输出相结合，评估表明这种组合性的方法优于其他三种弱监督方法。

    Jul, 2017

  • 零资源跨语言命名实体识别

    本文提出一种基于词级对抗训练、参数共享和特征增强的无监督跨语言命名实体识别模型，可在不依靠双语词典或平行数据的情况下，将命名实体知识从一种语言转移到另一种语言。通过对五种不同语言的实验表明，该模型的有效性优于现有模型，并为每个语言对设置了新的 SOTA。

    Nov, 2019

  • MultiCoNER：一个用于复杂命名实体识别的大型多语言数据集

    介绍了一种名为 MultiCoNER 的大型多语言数据集，可支持 11 种语言和 3 个领域的命名实体识别。使用两个 NER 模型对数据集进行了测试，并对其进行了评估。建立的模型都表现出了不俗的性能，但加入 Gazetteers 后性能提高了 30%。希望这个数据集能够帮助研究人员建立更为健壮的命名实体识别系统。

    Aug, 2022

  • MSNER：一个用于命名实体识别的多语言语音数据集

    该研究介绍了 MSNER，一个多语种语音语料库，用于命名实体识别，并提供了用于训练、验证和评估的数据集，同时推出了一个高效的标注工具。

    May, 2024

  • 命名实体识别中的泛化：定量分析

    本文旨在量化命名实体识别（NER）方法在 Web 内容和用户生成内容中的多样性如何影响其效果，并发现 NER 方法在具有有限训练数据的多样化数据类型中难以实现推广。文章还发现，领先的 NER 系统靠训练数据中的表面形式，很难进行推广。

    Jan, 2017

  • 具有最少资源的神经跨语言命名实体识别

    提出了一种基于双语单词嵌入的翻译方法，以改善跨语言的 named-entity recognition 性能，并使用 self-attention 来提高鲁棒性。在对常见语言的测试中达到了最先进或具有竞争力的 NER 性能。

    Aug, 2018