ACLMar, 2021

评估 NER 在难识别实体上的召回率

PDF
TL;DR本文提出了 Tough Mentions Recall (TMR) 指标来补充传统的命名实体识别 (NER) 评估方法，并通过评估使用五个最近的神经架构对英语、西班牙语和荷兰语语料库进行演示。我们检测了 BERT 和 Flair 在两个英语 NER 语料库上的性能差异，并确定了当前模型在西班牙语中性能的薄弱点，我们得出结论，TMR 指标能够区分原本得分相似的系统，并在性能上发现模式，这些模式在整体精确度、召回率和 F1 上无法发现。
named entity recognitiontough mentions recallneural architecturesbertflair
发现论文，激发创造
  • 评估命名实体识别：对巴西企业收益电话会议转录中单语和多语言 Transformer 模型的比较分析

    研究涉及到从金融领域的葡萄牙语文本中提取信息的 NER 技术，评估了在葡萄牙语训练的 BERT 模型和多语言模型之间的性能差异，同时展示了关键词识别任务作为文本生成问题的新方法。

    Mar, 2024

  • 命名实体识别中的泛化：定量分析

    本文旨在量化命名实体识别（NER）方法在 Web 内容和用户生成内容中的多样性如何影响其效果，并发现 NER 方法在具有有限训练数据的多样化数据类型中难以实现推广。文章还发现，领先的 NER 系统靠训练数据中的表面形式，很难进行推广。

    Jan, 2017

  • 命名实体识别的严格研究：微调预训练模型可否引领应用？

    本文研究在 fine-tuning 预训练模型的情况下，在命名实体识别任务中如何面对开放环境中可能面临的挑战，作者进行了随机测试和实证实验，结果表明，命名规则对于模型推广到未见过的提及至关重要，高覆盖率可能削弱模型的推广能力，而上下文模式则不需要使用大量数据来捕捉。

    Apr, 2020

  • 基于提示的度量学习用于小样本命名实体识别

    本研究提出了一种使用多重提示架构和度量学习方法来解决 few-shot named entity recognition 中标注语义缺陷的问题，并在 18 个场景中实现了新的最先进结果，平均相对增益为 8.84％，最大相对增益为 34.51％。

    Nov, 2022

  • 命名实体识别系统的自动测试和优化

    利用 TIN 进行自动测试修复 NER 系统的错误。在测试中，TIN 发现了 784 个可疑问题，其中 702 个是错误问题，并成功修复了 1,056 个 NER 错误。

    Aug, 2023

  • 多语言 NER 对抗性输入的鲁棒性评估

    本文在多种语言中对命名实体识别 (Named Entity Recognition, NER) 进行了对抗性评估，并尝试使用对抗性数据集作为训练数据或微调数据以提高 NER 模型的性能。结果表明，这两种方法均可提高英语、德语和印地语的 NER 性能，但对于德语和印地语而言，重新训练的效果更好。

    May, 2023

  • 关于现有顶尖 NER 技术状态我们真正了解了什么？

    本文通过对多种文本来源进行广泛评估以及通过构建新的对抗性测试集合，试图评估目前三种最先进的命名实体识别模型。在评估中，我们呈现了一些有用的报告实践方法，以便于提高当前模型性能的理解和提高未来研究的效率。

    Apr, 2022

  • 2M-NER：利用语言和模态融合进行多语言和多模态 NER 的对比学习

    本文介绍了一项新模型 2M-NER，通过对比学习对齐文本和图像表示，并整合多模态合作模块，从而有效地描述了两种模态之间的交互，实现了在多语言和多模态 NER 任务中 F1 得分最高的结果。

    Apr, 2024

  • 具有对比翻译记忆的神经机器翻译

    本文提出了一种新的检索增强 NMT 模型，用于对比检索翻译记忆，利用 Hierarchical Group Attention 模块和 Multi-TM contrastive learning 目标函数增加多层面信息收益，实验结果表明，该模型在基准数据集上优于现有算法。

    Dec, 2022

  • 命名实体和形态学的神经建模 (NEMO^2)

    通过调查一个新的 NER 基准，我们研究了现代希伯来语中的 NER。 结果表明，显式建模形态的边界可以提高 NER 性能，而一个新的混合体系结构极大地超越了标准流水线，在这个流水线中形态分解严格先于 NER，为希伯来语 NER 和希伯来语形态分解任务设置了新的性能基准。

    Jul, 2020