AAAIJan, 2020

神经模型泛化再思考：命名实体识别案例研究

PDF
TL;DR本文在命名实体识别任务上，提出了一种新的泛化能力指标，通过在多个角度分析已有模型在泛化行为上的不同表现，历经深入实验分析，得出了现有神经网络命名实体识别模型在数据集偏差、注释错误等方面存在局限性，并提出了改进方向的训练方法。此外，作者还开源了一个涵盖最近 NER 研究论文的综述项目。
neural networknlpgeneralization behaviornamed entity recognitiontraining methods
发现论文，激发创造
  • 实体和关系抽取中的情境化和泛化

    本文主要研究了最新的自然语言处理技术中，神经网络和语言模型在命名实体识别和关系抽取方面的应用以及它们在训练过程中面临的一些挑战。我们发现，预训练的语言模型对发现未曾见过的命名实体表现良好，但对于未曾见过的关系则有待加强，因此模型的理解能力仍存在提升空间。

    Jun, 2022

  • 命名实体识别中的泛化：定量分析

    本文旨在量化命名实体识别（NER）方法在 Web 内容和用户生成内容中的多样性如何影响其效果，并发现 NER 方法在具有有限训练数据的多样化数据类型中难以实现推广。文章还发现，领先的 NER 系统靠训练数据中的表面形式，很难进行推广。

    Jan, 2017

  • 命名实体识别的综合概述：模型、特定领域应用和挑战

    自然语言处理（NLP）领域中，命名实体识别（NER）作为从非结构化文本中提取结构化洞见的关键机制，在本文中得到全面探索，融合了基础原理和当代人工智能的进展。该研究从 NER 的基本概念开始，涵盖了从传统的基于规则的策略到当代的转换器架构的一系列技术，特别是突出了 BERT 与 LSTM 和 CNN 等集成算法。该论文强调了针对金融、法律和医疗等复杂领域定制的领域特定 NER 模型，并强调了它们的专业适应性。此外，研究还涉及强化学习、创新构建（如 E-NER）以及光学字符识别（OCR）在增强 NER 能力方面的相互作用。论文以实际领域为基础，阐明了 NER 在金融和生物医学等领域中不可或缺的作用，并解决了它们所面临的独特挑战。结论部分概述了开放性挑战和路径，将这项工作标记为进入 NER 研究和应用的全面指南。

    Sep, 2023

  • 你的生物医学命名实体识别模型如何推广到新实体？

    本文系统地分析了生物识别模型的三种识别能力：记忆，同义词泛化和概念泛化，并发现现有模型在识别同义词和新的生物概念方面存在局限性，这表明他们的泛化能力被高估了。作者调查了模型的失败案例，并确定了识别未见过的生物词汇的几个困难。最后，作者采用基于统计的去偏置方法作为简单的补救方法，显示出对未见过的提及的泛化改进。希望本文的分析和发现能够促进对 NER 模型泛化能力的进一步研究。

    Jan, 2021

  • NERetrieve: 下一代命名实体识别与检索数据集

    通过大规模语言模型，命名实体识别可以达到更精细化的实体类型识别、零样本识别和语句检索等目标，但这些目标仍然需要进一步研究和探索。

    Oct, 2023

  • 少样本命名实体识别：综合研究

    本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

    Dec, 2020

  • 联邦命名实体识别

    本文通过将联邦学习应用在命名实体识别任务中，使用具有语言无关性的 CoNLL-2003 数据集作为基准数据集，Bi-LSTM-CRF 模型作为基准模型，研究了联邦学习的性能，展示了联邦学习相对于集中式模型在不同的异构学习环境下的性能降低，并讨论了联邦学习在自然语言处理应用领域中的现存挑战和未来研究方向。

    Mar, 2022

  • 深度学习模型中命名实体识别的最近进展综述

    本文综述了深度神经网络在命名实体识别方面的应用，相对于传统的基于特征工程和监督或半监督学习算法的实体识别方法，神经网络在该领域中取得了更好的效果，并表明吸收过去的基于特征的 NER 系统的一些经验教训可以进一步提高性能。

    Oct, 2019

  • 跨文化姓名识别

    该研究旨在改进个人姓名的识别，在识别不同文化背景下的姓名方面，通过实验比较结合字符和词的输入模型与传统的 NER 模型，发现该模型表现更好且可能提高准确率。

    Jan, 2024

  • CoNLL-2003 命名实体标注器在 2023 年依然有效吗？

    本文通过构建新的标注测试集 CoNLL++ 来评估 20 多种不同模型对现代数据的泛化能力。实验结果表明，模型的泛化能力与模型的规模和预训练数据密切相关，而标准评估方法可能低估了过去 20 年命名实体识别方面取得的进展。

    Dec, 2022