EMNLPOct, 2022

AfroLID: 非洲语言的神经语言识别工具

PDF
TL;DR介绍了 AfroLID，一种对 517 种非洲语言进行语言识别的神经工具包，它利用了跨足 14 个语言家族和 5 个拼写系统的多域 Web 数据集，取得了 95.89 的 F1 分数，并在 Twitter 领域得到了验证。
language identificationneural lid toolkitweb datasetafrican languagesnlp
发现论文，激发创造
  • 语言识别的开放数据集和模型

    该研究提出了一种基于单语数据训练的语言识别模型，其在 201 种语言上的宏平均 F1 得分为 0.93，而误报率为 0.033，将先前工作的表现远远超过。我们对数据集进行了精心筛选，通过手动审核每个来源和每种语言的样本来确保其可靠性。模型和数据集都向研究界公开，并详细分析了模型的性能。

    May, 2023

  • 使用深度卷积循环神经网络进行语言识别

    该论文提出了基于图像领域解决 LID 问题的模型，使用了混合的卷积循环神经网络技术对提供的音频片段的频谱图像进行分析，并在广泛的实验中证明了模型的应用性，能够轻松地扩展到以前未知的语言，同时保持其分类准确性。

    Aug, 2017

  • GlotLID: 低资源语言的语种识别

    GlotLID-M 是一种具备广泛覆盖、可靠高效、用于辨识低资源语言的 LID 模型，通过分析语料元数据问题、高资源语言泄漏、近似语言辨别困难、处理大语种与方言等方面的挑战，希望将其整合到数据集创建过程中，提高低资源语言与文化的 NLP 技术的质量和可用性。

    Oct, 2023

  • 基于机器学习的印度口语识别概述

    本文综合评述了印度口语识别领域的研究现状及其面临的独特挑战，探讨了可用的语音语料库、已有的研究成果和未来的研究方向，有助于了解该领域现状和发展趋势。

    Nov, 2022

  • 利用频谱增强技术进行混合语言口语识别

    本研究针对印度语境下多种语言混杂的情况，对在语音处理中较为基础的语种识别系统 LID 进行优化，提出基于语种掩蔽和光谱增强的方法，在微软研究团队提出的挑战任务中相对基线系统进行了 3-5% 的 LID 准确度改进。

    Oct, 2020

  • 文本语言识别

    利用微博和深度学习技术，研发了一种可靠的语言识别引擎，在 Discriminating between Similar Languages (DSL) Shared Task 2015 数据集上达到了 95.12% 的准确率。

    Jan, 2017

  • AfroLM：一种基于自主学习的多语言预训练语言模型，适用于 23 种非洲语言

    本文提出了 AfroLM，这是一个利用自主主动学习（active learning）算法，仅仅用了比现有基准数据集小 14 倍的数据集从头开始预训练的跨 23 种非洲语言的多语言语言模型。与现有的大多数跨语言预训练模型相比，在各种 NLP 后续任务中，如命名实体识别、文本分类和情感分析等方面，AfroLM 取得了更好的优化和性能。

    Nov, 2022

  • 野外语言识别：通往千语言网络文本语料库的挑战

    本研究重点讨论了大型文本语料库在自然语言处理任务中的重要性以及在多语言语境下收集这些数据集所需的核心技术 —— 自动语言识别，该文介绍了使用基于词表的精度可调过滤器和基于 Transformer 的半监督语言识别模型来提高数据集质量的方法，为接下来创建 1,000 种语言的网络文本语料库铺平了道路。

    Oct, 2020

  • MaskLID：通过迭代遮盖进行的代码切换语言识别

    MaskLID 是一种简单而有效的代码切换语言识别方法，旨在补充当前高性能的句子级别识别器。它通过掩盖与 L1 语言相关的文本特征，使得识别器可以在下一轮中将文本分类为 L2，从而解决仅返回 L1 标签的问题。该方法利用识别器本身来识别需要掩盖的特征，不依赖于任何外部资源。本研究在两种开源识别器 (GlotLID 和 OpenLID) 上探索了 MaskLID 的应用，它们都基于 FastText 架构。

    Jun, 2024

  • BERT-LID: 利用 BERT 提升口语语言识别

    我们提出了一种基于 BERT 的语言识别系统，通过提取从前端语音识别器导出的语音学后向图（PPG）作为输入，可以提高较短语音段的语言识别表现，该模型可以提高长语音段识别的基准准确率约 6.5％，提高短语音段识别的基准准确率约 19.9％，表明 BERT-LID 在语言识别方面是有效的。

    Mar, 2022