ACLJun, 2024

MaskLID：通过迭代遮盖进行的代码切换语言识别

PDF
TL;DRMaskLID 是一种简单而有效的代码切换语言识别方法，旨在补充当前高性能的句子级别识别器。它通过掩盖与 L1 语言相关的文本特征，使得识别器可以在下一轮中将文本分类为 L2，从而解决仅返回 L1 标签的问题。该方法利用识别器本身来识别需要掩盖的特征，不依赖于任何外部资源。本研究在两种开源识别器 (GlotLID 和 OpenLID) 上探索了 MaskLID 的应用，它们都基于 FastText 架构。
发现论文，激发创造
  • 代码切换语言识别更加困难

    通过建立代码切换语料库的应用，我们研究了代码切换语言识别，考虑到多种语言和较简单的模型架构以实现更快速推理。我们将任务重新定义为句子级多标签标注问题，以使其更易处理，并提出反映所需性能的度量指标。我们通过实证实现表明当前的方法都不足够，并在这一领域提供未来工作的建议。

    Feb, 2024

  • 利用频谱增强技术进行混合语言口语识别

    本研究针对印度语境下多种语言混杂的情况，对在语音处理中较为基础的语种识别系统 LID 进行优化，提出基于语种掩蔽和光谱增强的方法，在微软研究团队提出的挑战任务中相对基线系统进行了 3-5% 的 LID 准确度改进。

    Oct, 2020

  • 语言识别的开放数据集和模型

    该研究提出了一种基于单语数据训练的语言识别模型，其在 201 种语言上的宏平均 F1 得分为 0.93，而误报率为 0.033，将先前工作的表现远远超过。我们对数据集进行了精心筛选，通过手动审核每个来源和每种语言的样本来确保其可靠性。模型和数据集都向研究界公开，并详细分析了模型的性能。

    May, 2023

  • 基于多任务预训练和迁移学习的简单而有效的语言代码切换识别

    本文研究如何使用深度学习方法提高混合语言识别的准确性，提出了包括使用 Residual CNN+GRU 模型，以及使用自动语音识别（ASR）作为辅助任务的多任务预训练方法等两种有效方法，并且通过使用单语语料库以及数据上采样等方法来创造真正的混合语言数据集，最终实验结果显示，本文提出的模型在英汉混合语言语音识别准确度上超过了之前的基准模型约 55.3%。

    May, 2023

  • GlotLID: 低资源语言的语种识别

    GlotLID-M 是一种具备广泛覆盖、可靠高效、用于辨识低资源语言的 LID 模型，通过分析语料元数据问题、高资源语言泄漏、近似语言辨别困难、处理大语种与方言等方面的挑战，希望将其整合到数据集创建过程中，提高低资源语言与文化的 NLP 技术的质量和可用性。

    Oct, 2023

  • 使用具有知识蒸馏的双模型增强语言识别

    本研究基于双模式框架，使用知识蒸馏在 x 向量自我关注（XSA-LID）模型上，以增强其对长短发音的语言识别（LID）性能。通过分别优化完整和短模式，其输入为完整长度的语音和通过特定布尔蒙版提取的短剪辑，并在短发音中应用知识蒸馏以进一步提高性能。在 MLS14 数据集上的实验表明，在 3 秒随机位置的布尔蒙版下，相较于 XSA-LID 模型，本方法在 3 秒，10 秒和 30 秒的发音中均达到了相对成本的 19.23％，21.52％和 8.37％的提高。

    Mar, 2022

  • 使用深度卷积循环神经网络进行语言识别

    该论文提出了基于图像领域解决 LID 问题的模型，使用了混合的卷积循环神经网络技术对提供的音频片段的频谱图像进行分析，并在广泛的实验中证明了模型的应用性，能够轻松地扩展到以前未知的语言，同时保持其分类准确性。

    Aug, 2017

  • 文本语言识别

    利用微博和深度学习技术，研发了一种可靠的语言识别引擎，在 Discriminating between Similar Languages (DSL) Shared Task 2015 数据集上达到了 95.12% 的准确率。

    Jan, 2017

  • BERT-LID: 利用 BERT 提升口语语言识别

    我们提出了一种基于 BERT 的语言识别系统，通过提取从前端语音识别器导出的语音学后向图（PPG）作为输入，可以提高较短语音段的语言识别表现，该模型可以提高长语音段识别的基准准确率约 6.5％，提高短语音段识别的基准准确率约 19.9％，表明 BERT-LID 在语言识别方面是有效的。

    Mar, 2022

  • AfroLID: 非洲语言的神经语言识别工具

    介绍了 AfroLID，一种对 517 种非洲语言进行语言识别的神经工具包，它利用了跨足 14 个语言家族和 5 个拼写系统的多域 Web 数据集，取得了 95.89 的 F1 分数，并在 Twitter 领域得到了验证。

    Oct, 2022