EMNLPApr, 2020

命名实体识别的严格研究：微调预训练模型可否引领应用？

PDF
TL;DR本文研究在 fine-tuning 预训练模型的情况下，在命名实体识别任务中如何面对开放环境中可能面临的挑战，作者进行了随机测试和实证实验，结果表明，命名规则对于模型推广到未见过的提及至关重要，高覆盖率可能削弱模型的推广能力，而上下文模式则不需要使用大量数据来捕捉。
fine-tuningpretrained modelneropen situationsname regularity
发现论文，激发创造
  • 实体和关系抽取中的情境化和泛化

    本文主要研究了最新的自然语言处理技术中，神经网络和语言模型在命名实体识别和关系抽取方面的应用以及它们在训练过程中面临的一些挑战。我们发现，预训练的语言模型对发现未曾见过的命名实体表现良好，但对于未曾见过的关系则有待加强，因此模型的理解能力仍存在提升空间。

    Jun, 2022

  • 上下文感知对抗训练用于解决命名实体识别中的名称规律偏见

    本研究检测了命名实体识别（NER）模型在预测不确定实体类型时使用上下文信息的能力，设计了 NRB 测试集来诊断 NER 模型的名称规律偏差，并提出了一种新的模型无关训练方法来减轻这种偏差，该方法对改善 NER 模型性能有显著作用。

    Jul, 2021

  • 少样本命名实体识别：综合研究

    本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

    Dec, 2020

  • Few-shot Fine-tuning 的构建：以命名实体识别为例进行语言模型预训练的试验研究

    本篇研究提出了一种基于预训练模型且更贴近预训练目标的新型 few-shot fine-tuning 框架 FFF-NER，应用于命名实体识别任务上，经过一系列实验及消融研究，确认其比现有序列标记、原型元学习和提示式方法等现有方法能够更有效改善 NER 性能。

    May, 2022

  • 神经模型泛化再思考：命名实体识别案例研究

    本文在命名实体识别任务上，提出了一种新的泛化能力指标，通过在多个角度分析已有模型在泛化行为上的不同表现，历经深入实验分析，得出了现有神经网络命名实体识别模型在数据集偏差、注释错误等方面存在局限性，并提出了改进方向的训练方法。此外，作者还开源了一个涵盖最近 NER 研究论文的综述项目。

    Jan, 2020

  • 命名实体识别中的泛化：定量分析

    本文旨在量化命名实体识别（NER）方法在 Web 内容和用户生成内容中的多样性如何影响其效果，并发现 NER 方法在具有有限训练数据的多样化数据类型中难以实现推广。文章还发现，领先的 NER 系统靠训练数据中的表面形式，很难进行推广。

    Jan, 2017

  • 基于 BERT 的关系抽取的鲁棒性和偏差分析

    通过对 BERT 模型进行关系抽取分析，我们从不同角度研究了微调预训练模型的泛化能力，并探究了不同泛化技术之间的差异，发现 BERT 在随机化、对抗性测试、反事实测试和选择偏见等方面存在瓶颈。我们呈现的测试平台 DiagnoseRE 已在 https://github.com/zjunlp/DiagnoseRE 上开源。

    Sep, 2020

  • NER-BERT: 一个用于低资源实体标注的预训练模型

    本文介绍了一种基于大规模语言模型的命名实体识别预训练方法，通过构建大型高质量命名实体语料库，最终得到的 NER-BERT 模型在九个不同领域的低资源场景下明显优于其他模型。

    Dec, 2021

  • 从微调和差分私有微调的 BERT 模型中提取命名实体的研究

    本文研究从语言模型中提取个人信息风险，并探讨 Differentially Privacy 对 fine-tuned BERT 模型文本生成能力的影响，结果表明，BERT 不太可能泄露个人或隐私敏感的命名实体，并指出这些结果重要理解 BERT-based 服务易受到训练数据提取攻击的程度。

    Dec, 2022

  • 跨文化姓名识别

    该研究旨在改进个人姓名的识别，在识别不同文化背景下的姓名方面，通过实验比较结合字符和词的输入模型与传统的 NER 模型，发现该模型表现更好且可能提高准确率。

    Jan, 2024