Feb, 2024

DANSK 和 DaCy 2.6.0：丹麦命名实体识别的领域泛化

PDF
TL;DR本篇论文介绍了一个提供高精度标记和跨多领域模型评估的丹麦命名实体识别数据集 DANSK，以及具备细粒度注释的 DaCy 2.6.0 模型，通过对现有和新模型的评估揭示了跨领域的性能差异，并讨论了数据集的注释质量缺陷及其对模型训练和评估的影响， despite these limitations，该论文主张在丹麦命名实体识别领域同时使用这个新数据集 DANSK 并进行进一步的领域通用性研究。
发现论文，激发创造
  • DaN+：丹麦嵌套命名实体和词汇规范化

    介绍了 DaN+，一个新的、支持跨语种跨领域学习的丹麦嵌套命名实体（NEs）和词汇归一化的多领域语料库和标注指南。评估了三种策略来建模双层命名实体识别任务，证实多任务学习是最坚实的策略，并且在最规范的数据中，使用本语言 BERT 和词汇归一化是最有利的。

    May, 2021

  • 神经交叉语言转移和有限注释数据应用在丹麦命名实体识别

    该研究评估了跨语言转移模型在丹麦语命名实体识别中的表现，并研究了在极少量标注数据情况下的补充效果，以及阐述了丹麦语 NER 的性能。

    Mar, 2020

  • 神经模型泛化再思考：命名实体识别案例研究

    本文在命名实体识别任务上，提出了一种新的泛化能力指标，通过在多个角度分析已有模型在泛化行为上的不同表现，历经深入实验分析，得出了现有神经网络命名实体识别模型在数据集偏差、注释错误等方面存在局限性，并提出了改进方向的训练方法。此外，作者还开源了一个涵盖最近 NER 研究论文的综述项目。

    Jan, 2020

  • CrossNER: 跨领域命名实体识别的评估

    为了解决交叉域命名实体识别 (NER) 任务中样本少的问题，作者提出了一个跨领域 NER 数据集 CrossNER, 进行了一系列实验来探索利用不同级别的领域语料库和预训练策略进行域自适应预训练的有效性，研究表明利用包含领域特定实体的分数语料库并采用更具挑战性的预训练策略对于 NER 的域自适应有益，提出的方法在跨领域 NER 基线上效果更好。

    Dec, 2020

  • 跨数据集和语言学习开放式命名实体识别的通用实体分类

    通过构建一个通用的、包含 400 多种实体类型的数据集 B2NERD，并使用减少冗余的数据修剪策略，在开放领域命名实体识别方面，提高了大型语言模型的泛化性能，优于 GPT-4 和以往的方法。

    Jun, 2024

  • 命名实体识别中的泛化：定量分析

    本文旨在量化命名实体识别（NER）方法在 Web 内容和用户生成内容中的多样性如何影响其效果，并发现 NER 方法在具有有限训练数据的多样化数据类型中难以实现推广。文章还发现，领先的 NER 系统靠训练数据中的表面形式，很难进行推广。

    Jan, 2017

  • 基于词嵌入的在线媒体命名实体识别领域自适应

    本文提出了使用分布式词表示有效地将一个领域中学习的模型适应到其他领域的方法，并分析了不同领域之间的语言变异以识别可以提高性能的语言见解，提出了捕捉词汇用法的领域特定语义的方法，并演示了如何有效地使用此类领域特定知识来学习在领域适应设置中优于以前基准的 NER 模型。

    Dec, 2016

  • FactMix: 使用少量领域内标注样本泛化到跨领域命名实体识别

    本文提出了一种基于理性的两步数据增强方法来提高模型的泛化性能，用于跨域 NER 任务，结果表明我们的模型无论是在数据增强还是提示调整方法中都显著提高了交叉域 NER 任务的性能。

    Aug, 2022

  • 实体的不同偏好：研究命名实体标注中的人工标签变化

    本研究通过对三种语言的专家注释的命名实体数据集进行调查，展示了文本歧义和人工指南变更是高质量修订的差异性注释的主要因素，并对难以理解的实体的学生注释进行了调查，证明了从分布视角理解命名实体歧义的多向注释的可行性和必要性。

    Feb, 2024

  • CoNLL-2003 命名实体标注器在 2023 年依然有效吗？

    本文通过构建新的标注测试集 CoNLL++ 来评估 20 多种不同模型对现代数据的泛化能力。实验结果表明，模型的泛化能力与模型的规模和预训练数据密切相关，而标准评估方法可能低估了过去 20 年命名实体识别方面取得的进展。

    Dec, 2022