Jul, 2023

探索口语命名实体识别：跨语言视角

PDF
TL;DR本研究利用荷兰语、英语和德语之间的跨语言转移学习，使用管道和端到端（E2E）方案，利用自定义伪标注数据集的 Wav2Vec2-XLS-R 模型，研究了几种跨语言系统的适应性，结果表明，端到端的口语命名实体识别优于基于管道的替代方案。 转移学习从德语到荷兰语的效果比荷兰语 E2E 系统高 7％，比管道系统高 4％。
named entity recognitionspoken nercross-lingual transfer learningwav2vec2-xls-r modelspseudo-annotated datasets
发现论文，激发创造
  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021

  • 英文语音端到端命名实体识别

    本文介绍了第一个公开的针对英语语音的命名实体识别 (NER) 数据集，并提出了一种端到端的方法，该方法同时优化 ASR 和 NER 标记器的组件。实验结果表明，所提出的端到端方法优于经典的两步方法，并讨论了如何使用语音的 NER 来处理 ASR 系统中的词汇外单词 (OOV)。

    May, 2020

  • 零资源跨语言命名实体识别

    本文提出一种基于词级对抗训练、参数共享和特征增强的无监督跨语言命名实体识别模型，可在不依靠双语词典或平行数据的情况下，将命名实体知识从一种语言转移到另一种语言。通过对五种不同语言的实验表明，该模型的有效性优于现有模型，并为每个语言对设置了新的 SOTA。

    Nov, 2019

  • 基于端到端的语音命名实体提取

    该研究通过一种端到端的神经架构，直接从语音中提取命名实体，并针对语音识别和命名实体识别进行联合优化，相较于传统的流水线方法，实现了更好的命名实体识别结果（测试数据的 F-measure=0.69）

    May, 2018

  • 具有最少资源的神经跨语言命名实体识别

    提出了一种基于双语单词嵌入的翻译方法，以改善跨语言的 named-entity recognition 性能，并使用 self-attention 来提高鲁棒性。在对常见语言的测试中达到了最先进或具有竞争力的 NER 性能。

    Aug, 2018

  • 使用外部数据进行口语命名实体识别

    本文研究语音识别与文本命名实体识别的端到端模型，研究使用未标注文本数据和数据增强技术来提高实体识别的性能。通过引入自学习、知识蒸馏和迁移学习等方法，该文发现这些技术在资源受限的情况下可以提高实体识别的性能。同时，本文展示了相比于之前的工作，这些方法在 F1 分数方面提高了长达 16% 的表现。

    Dec, 2021

  • 神经交叉语言转移和有限注释数据应用在丹麦命名实体识别

    该研究评估了跨语言转移模型在丹麦语命名实体识别中的表现，并研究了在极少量标注数据情况下的补充效果，以及阐述了丹麦语 NER 的性能。

    Mar, 2020

  • 通过有效的注释和表示投影进行弱监督的跨语言命名实体识别

    本文提出两种弱监督的跨语言实体标识方法，分别基于注释投影和词嵌入，无需使用目标语言的人工注释数据。同时，我们设计了两种协同解码方案，将两个基于投影的方法的输出相结合，评估表明这种组合性的方法优于其他三种弱监督方法。

    Jul, 2017

  • 使用 BERT 实现通用语言命名实体识别

    本文研究了一种基于多语言 BERT 的单一命名实体识别模型，使用多任务学习和分块更新规则等正则化策略优化模型，并证明在多种语言数据集上表现优于专注于单一语言模型，并能够进行零样本预测。

    Nov, 2019

  • 低资源语言的跨语言金融交易数据 NER

    我们提出了一个高效的建模框架，用于半结构化文本数据中的跨语言命名实体识别。我们的方法依赖于知识蒸馏和一致性训练，并且利用预训练在源语言上的大型语言模型（XLMRoBERTa）的知识，通过学生 - 教师关系（知识蒸馏）。学生模型在低资源目标语言上采用无监督的一致性训练（使用 KL 散度损失）。我们使用两个独立的 SMS 数据集，分别是英语和阿拉伯语，每个数据集都携带有半结构化的银行交易信息，并侧重展示从英语到阿拉伯语的知识传递。通过仅使用 30 个标记样本，我们的模型可以将商家、金额和其他字段的识别从英语推广到阿拉伯语。我们的实验表明，在低资源语言的少量标记样本的情况下，学习在英语中识别实体就足以在低资源语言中达到合理的性能。该提出的框架对于开发多语言应用程序，尤其是在数字化努力依赖英语和一种或多种低资源语言的地理区域具有重要意义，有时与英语混合使用或独立使用。

    Jul, 2023