AAAIDec, 2022

基于 Transformer 的法语命名实体识别：通过对相似领域语料库的对抗性适应实现

PDF
TL;DR本研究提出一种基于 Transformer 和对抗适应的 NER 方法，用于针对资料较少的语言如法语中的实体识别问题。实验结果表明，该方法在三个标注数据集上的表现优于相应的未适应模型。
named entity recognitionnerfrenchtransformer-based approachadversarial adaptation
发现论文，激发创造
  • 针对法语命名实体识别的对抗性适应

    本文介绍了一种基于 Transformer 和对抗适应的命名实体识别方法，可以利用同一领域或混合域的无标注语料库进行大规模的特征学习和消除过拟合，以解决法语和其他资源相对有限的语言中 NER 任务的问题。实验结果表明，该方法在各种组合的 Transformer 模型、源数据集和目标语料库方面均优于没有自适应的模型。同时，本文还表明，对大规模无标注语料库进行对抗性适应可以帮助减小在使用预训练于较小语料库上的 Transformer 模型时的性能下降。

    Jan, 2023

  • 基于词嵌入的在线媒体命名实体识别领域自适应

    本文提出了使用分布式词表示有效地将一个领域中学习的模型适应到其他领域的方法，并分析了不同领域之间的语言变异以识别可以提高性能的语言见解，提出了捕捉词汇用法的领域特定语义的方法，并演示了如何有效地使用此类领域特定知识来学习在领域适应设置中优于以前基准的 NER 模型。

    Dec, 2016

  • 多语言 NER 对抗性输入的鲁棒性评估

    本文在多种语言中对命名实体识别 (Named Entity Recognition, NER) 进行了对抗性评估，并尝试使用对抗性数据集作为训练数据或微调数据以提高 NER 模型的性能。结果表明，这两种方法均可提高英语、德语和印地语的 NER 性能，但对于德语和印地语而言，重新训练的效果更好。

    May, 2023

  • 科学命名实体识别的分层 Transformer 模型

    使用 BERT 和 transformer 层的简单和有效的 Named Entity Recognition 方法在计算机科学和生物医学领域的三个基准数据集上优于当前最先进技术，无需外部资源或特定数据增强。

    Mar, 2022

  • 用于跨领域命名实体识别的神经适应层

    本文研究神经网络结构在新闻信息提取任务上的应用，并针对不同领域应用的性能下降问题，提出一种轻量而有效的域适应方法，无需使用源域数据进行重新训练，在社交媒体等新兴领域中具有显著的应用价值。

    Oct, 2018

  • 基于法语的临床命名实体识别性能评估

    这篇论文是关于对医学法语遮蔽语言模型在临床命名实体识别任务上的评估研究，发现 CamemBERT-bio 在性能上表现优于 DrBERT，而 FlauBERT 则具有竞争力，FrALBERT 的碳排放量最低。这是首个基准评估了法语医学遮蔽语言模型在临床实体识别方面的性能，并比较了其在嵌套实体识别上的性能和环境影响。

    Mar, 2024

  • 多 BERT：利用适配器和提示调整进行低资源多领域适应

    本研究提出一种使用核心模型和多组领域特定参数的新方法，通过采用提示调优和适配器技术，结合额外层次的参数训练，使得模型能够在各个领域表现出色，甚至在某些领域超越现有模型。此外，我们还分析了各自适应策略的优势、劣势和最佳超参数，最后引入了一种基于文档的领域检测流程，提高了本研究在未知文本领域情景下的适应性和实用性。

    Apr, 2024

  • 评估命名实体识别：对巴西企业收益电话会议转录中单语和多语言 Transformer 模型的比较分析

    研究涉及到从金融领域的葡萄牙语文本中提取信息的 NER 技术，评估了在葡萄牙语训练的 BERT 模型和多语言模型之间的性能差异，同时展示了关键词识别任务作为文本生成问题的新方法。

    Mar, 2024

  • CrossNER: 跨领域命名实体识别的评估

    为了解决交叉域命名实体识别 (NER) 任务中样本少的问题，作者提出了一个跨领域 NER 数据集 CrossNER, 进行了一系列实验来探索利用不同级别的领域语料库和预训练策略进行域自适应预训练的有效性，研究表明利用包含领域特定实体的分数语料库并采用更具挑战性的预训练策略对于 NER 的域自适应有益，提出的方法在跨领域 NER 基线上效果更好。

    Dec, 2020

  • 运用专家指导的对抗性扩充来提高命名实体识别的泛化能力

    使用专家引导的启发式方法构建了一个高质量的 CoNLL 2003 测试数据集，通过基于此集合的对抗性扰动来评估 NER 模型的泛化能力，并且通过使用混合数据训练技术来显著提高在挑战集上的性能以及提高了域外泛化能力。

    Mar, 2022