Mar, 2019

适应语言模型的文本语言和方言识别

PDF
TL;DR本文介绍了一种无监督的语言模型适应方法，可以用来增强语言识别方法的性能。该方法应用于现有版本的 HeLI 语言识别方法，并在德语方言识别和 Indo-Aryan 语言识别共享任务中得到了高于先前 HeLI 方法和其他参与共享任务的系统的 F1 分数的结果。结果表明，应该在所有语言识别任务中考虑无监督的语言模型适应方法，特别是在可能遇到领域外数据的情况下。
language model adaptationlanguage identificationheli 2.0unsupervised learningf1-scores
发现论文，激发创造
  • 语言识别的开放数据集和模型

    该研究提出了一种基于单语数据训练的语言识别模型，其在 201 种语言上的宏平均 F1 得分为 0.93，而误报率为 0.033，将先前工作的表现远远超过。我们对数据集进行了精心筛选，通过手动审核每个来源和每种语言的样本来确保其可靠性。模型和数据集都向研究界公开，并详细分析了模型的性能。

    May, 2023

  • 350 + 种语言的分层模型在语言识别、识别错误及翻译中的应用

    通过编制一个 50k+ 多语种儿童故事对齐语料库和构建轻量级的逐层模型，我们提出了一种名为 Hierarchical LIMIT 的方法来解决低资源语言的数据瓶颈问题，可用于短文本的语言识别和印度或非洲语言之间的研究。

    May, 2023

  • 面向任务无关的低秩适配器用于未见过的英语方言

    通过利用专家语言知识，我们的方法 HyperLoRA 可以通过超网络实现资源高效的适应，从而提高对未知方言的泛化能力，为数十亿传统上代表性不足的英语方言使用者提供语言技术的便利访问。

    Nov, 2023

  • 跨语言说话人识别使用远程监督

    该论文提出了一种演讲者识别的框架，通过大规模的英文远程监督训练跨语言语言模型，解决了当前方法中存在的上下文推理能力和跨语言泛化性不足问题，并在英文和中文演讲者识别数据集中取得了优于现有方法的表现。

    Oct, 2022

  • 探究语言识别模型的性能：超越简单的错误统计

    研究语言识别系统在 MERLIon CCS 挑战中对不同语言特性的子集的表现，考察其对录音和语音单元的性能，并且提出评估指标的局限性和可能导致算法偏差的问题。

    May, 2023

  • 基于内部语言模型估计的适应性语言模型融合用于领域自适应

    本文提出了一种基于内部语言模型估计的自适应领域适应方法，通过最大化内部和外部语言模型 (ELM) 的分数的插值对数似然分数来实现 ILME-ADA，该方法在 RNN-T 和 LAS 模型框架下使用神经网络和 n-gram 语言模型作为 ELM，在两个特定领域 (目标) 测试集上表现显著优于浅层和基于 ILME 的 LM 融合方法，且在一般测试集上性能下降最小。

    Nov, 2022

  • 我们正在呼唤干预：对语言模型在不同类型语言变异中的适应性进行深入研究

    通过一系列干预和实验证明，我们可以理解语言模型对于存在语言变异（例如非标准或方言文本）的文本的适应性。在包括字符级、子词级和词级变化的语言变异方面进行干预，通过不同规模和性质的训练数据进行语言模型适应，我们对于语言变异对于语言模型的困难有了重要的认识。我们的发现对于方言自然语言处理和增强语言模型对语言变异的鲁棒性的未来研究有着重要的启示。我们公开提供了可以应用于任何英文文本数据的干预代码。

    Apr, 2024

  • 基于数据增强的方言调适对 LLMs

    该研究报告通过使用不同类型的语言模型并利用数据增强技术，提出了一种结合方法，旨在改善南斯拉夫南方微方言上大规模语言模型（LLMs）的通识推理能力评估，通过实验证明数据增强技术能够显著提升开源型模型类别在三个南斯拉夫方言（Chakavian、Cherkano 和 Torlak）的测试数据集上的性能，突出了数据增强的实际效用和 LLMs 在处理非标准方言方面的潜力以推进低资源和方言环境下的自然语言理解。

    Apr, 2024

  • 比较达罗毗荼语言识别方法

    本文介绍了团队 HWR 在 VarDial 2021 举办的 Dravidian Language Identification (DLI) 共享任务期间提交的内容，包括使用自适应语言模型的朴素贝叶斯分类器和基于 Transformer 的模型进行的实验，以及在语言识别相关任务中深度学习方法的表现不如其他文本分类任务这一研究发现。

    Mar, 2021

  • 基于共性和多样性建模的无监督神经方言翻译

    本文研究旨在找出方言翻译任务中缺乏平行语料和具有类似语法的两方之间的共性和差异之处，从而建立无监督翻译模型。结果表明，我们的方法在 20 万万普通话和广东话的单语语料库上的性能优于规则 - 基础简体和繁体中文转换以及常规无监督翻译模型。

    Dec, 2019