ACLMay, 2023

多语言 NER 对抗性输入的鲁棒性评估

PDF
TL;DR本文在多种语言中对命名实体识别 (Named Entity Recognition, NER) 进行了对抗性评估，并尝试使用对抗性数据集作为训练数据或微调数据以提高 NER 模型的性能。结果表明，这两种方法均可提高英语、德语和印地语的 NER 性能，但对于德语和印地语而言，重新训练的效果更好。
named entity recognitionmultilingual evaluationadversarial data setstraining datafine-tuning
发现论文，激发创造
  • 为印度语言优化预训练的命名实体识别模型

    对印度语言进行多语言命名实体识别的挑战分析及旨在应对其的技术的提出。同时，提供了包括两个主要印度语言家族中四种印度语言在内的人工标注命名实体语料库，并在该数据集上对多语言模型进行了微调，平均 F1 得分达到 0.80。在印度语言的完全未见基准数据集上实现了可比的性能，证实了我们模型的实用性。

    May, 2024

  • 针对法语命名实体识别的对抗性适应

    本文介绍了一种基于 Transformer 和对抗适应的命名实体识别方法，可以利用同一领域或混合域的无标注语料库进行大规模的特征学习和消除过拟合，以解决法语和其他资源相对有限的语言中 NER 任务的问题。实验结果表明，该方法在各种组合的 Transformer 模型、源数据集和目标语料库方面均优于没有自适应的模型。同时，本文还表明，对大规模无标注语料库进行对抗性适应可以帮助减小在使用预训练于较小语料库上的 Transformer 模型时的性能下降。

    Jan, 2023

  • 构建强韧的神经机器翻译系统

    本文提出采用对抗性稳定性训练来提高神经机器翻译 (NMT) 模型的鲁棒性，通过使编码器和解码器在输入和其扰动版本的情况下行为相似，进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明，该方法不仅可以显著提高强 NMT 系统的翻译品质，而且可以增强 NMT 模型的鲁棒性。

    May, 2018

  • 运用专家指导的对抗性扩充来提高命名实体识别的泛化能力

    使用专家引导的启发式方法构建了一个高质量的 CoNLL 2003 测试数据集，通过基于此集合的对抗性扰动来评估 NER 模型的泛化能力，并且通过使用混合数据训练技术来显著提高在挑战集上的性能以及提高了域外泛化能力。

    Mar, 2022

  • 评估神经语言模型对输入干扰的鲁棒性

    我们研究了在现实世界中输入文本可能有噪音或不同于 NLP 系统训练数据分布的情景，通过各种类型的字符级和单词级扰动方法来模拟这种情况，发现语言模型对输入扰动非常敏感，即使引入了很小的变化，其性能也会下降，需要进一步改进模型并对扰动输入进行评估以更加真实地了解 NLP 系统的鲁棒性。

    Aug, 2021

  • CL-NERIL: 一个用于印度语言命名实体识别的跨语言模型

    通过利用英印平行语料库和英文命名实体识别数据集，在低资源背景下，提出了一种用于印度语言的命名实体识别端到端框架。该框架包括一种注释投影方法，利用源语言（英语）数据上的单词对齐分数和命名实体识别标记预测置信度得分生成目标印度语言中的弱标签数据，并在 Teacher-Student 模型的伪标签以及对生成的弱标签数据的预测上联合优化。对三种印度语言（印地语、孟加拉语和古吉拉特语）的手动注释测试集进行了评估。实证结果显示，在所有语言上，与零 - shot 迁移学习模型相比，所提出的框架表现出至少 10％的性能提升，这表明生成的目标印度语言中的弱标签数据可以很好地补充已经有良好注释的源语言数据来提高性能。

    Nov, 2021

  • 运用辅助语言和迁移学习技术提高低资源实体命名识别

    论文探究了如何在低资源语言如印地语和马拉地语中通过适应 BERT 模型，训练监督学习的 NER 模型，并比较了多语言模型与单语言模型的性能，研究结果表明多语言模型可以提高 NER 的精度。

    Jun, 2023

  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021

  • 汉迪语和马拉提语命名实体识别中的单语 BERT 与多语 BERT 对比研究

    本文研究低资源印度语言 Hindi 和 Marathi 的命名实体识别 (NER)，使用 base-BERT，RoBERTa 和 AlBERT 等变体进行了基准测试，并在不同单语和多语 Transformer 模型之间进行了详细比较，发现 MahaRoBERTa 单语模型在 Marathi NER 方面表现最佳，而多语言 XLM-RoBERTa 在 Hindi NER 方面表现最佳。文中还进行了跨语言评估和提出了简单基线。

    Mar, 2022

  • 零资源跨语言命名实体识别

    本文提出一种基于词级对抗训练、参数共享和特征增强的无监督跨语言命名实体识别模型，可在不依靠双语词典或平行数据的情况下，将命名实体知识从一种语言转移到另一种语言。通过对五种不同语言的实验表明，该模型的有效性优于现有模型，并为每个语言对设置了新的 SOTA。

    Nov, 2019