Jul, 2022

基于内部语言模型估计的跨领域代码切换语音识别语言模型融合

PDF
TL;DR本研究基于 ILME 的 LM 融合方法，在跨领域的混合语音识别任务中，展示了比传统浅度融合更显著的识别效果。也针对跨领域的混合语音识别任务，尝试融合两个单语言数据集，构建 E2E 语音识别模型。通过实验证明了提出的 ILME-based LM 融合方法的有效性，同时使用了 SEAME 和中国大陆 CS 数据集进行了评估。
internal language model estimationilme-based lm fusioncross-domain code-switching speech recognitionend-to-end speech recognition modelseame
发现论文，激发创造
  • 领域适应端到端语音识别的内部语言模型估计

    提出了一种内部语言模型估计（ILME）方法，用于在无需额外模型训练的情况下，更有效地集成外部 LM 并改善端到端自动语音识别中的域不匹配问题，包括最受欢迎的循环神经网络转录器（RNN-T）和基于注意力的编码器 - 解码器（AED）模型。

    Nov, 2020

  • 基于内部语言模型估计的适应性语言模型融合用于领域自适应

    本文提出了一种基于内部语言模型估计的自适应领域适应方法，通过最大化内部和外部语言模型 (ELM) 的分数的插值对数似然分数来实现 ILME-ADA，该方法在 RNN-T 和 LAS 模型框架下使用神经网络和 n-gram 语言模型作为 ELM，在两个特定领域 (目标) 测试集上表现显著优于浅层和基于 ILME 的 LM 融合方法，且在一般测试集上性能下降最小。

    Nov, 2022

  • 遮盖偏见：通过内部语言模型估计改善基于 CTC 的语音识别在不同领域间的泛化

    提出了一种新型的用于 CTC-Based ASR 模型的内部语言模型估计技术，该技术在多个领域的数据集上得到了验证，能通过遮盖音频时间步骤迭代地估计内部 LM 的伪对数似然，从而消除源域偏见，并且在无目标域数据的零 - shot 域自适应中也能优于 Shallow Fusion 来提高 WER。

    May, 2023

  • 终端到终端音频识别的声学模型融合

    最近在深度学习和自动语音识别（ASR）方面的进展使得端到端（E2E）ASR 系统成为可能，并且将准确性提升到一个新的水平。我们提出将外部的 AM 整合到 E2E 系统中，以更好地解决领域不匹配问题，并取得了显著的词错误率降低，尤其在增强命名实体识别方面效果明显。

    Oct, 2023

  • 基于 Attention 编码器 - 解码器的明确上下文向量学习，用于内部语言模型评估的 ASR

    本文提出了两种新方法，一种是基于训练文本学习的上下文向量替换方法，另一种是基于轻量级前馈网络的动态映射方法来准确估计内部语言模型 (ILM)，实验结果显示这两种方法比传统浅层融合和其他 ILM 估计方法表现更好。

    Jan, 2022

  • JEIT: 语音识别的联合端到端模型和内部语言模型训练

    提出了一种使用大规模非配对文本来改善说话者对罕见单词的识别能力的训练方法 JEIT，它结合了端到端模型和内部语言模型训练，其中内部语言模型吸收非配对文本，接受 E2E 计算损失信息，从而提高 E2E 模型的性能。在 JEIT 过程中，MHAT 表现比 HAT 更佳，在 ILM 适应时更加稳定，此外，我们还提出了结合 JEIT 和 JOIST 的 CJJT 方法，它能更有效地实现语言模型的融合。

    Feb, 2023

  • 语音识别中零 - shot 领域调适的大型语言模型启发

    本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率（WER），特别是，深度 LLM-fusion 具有更好的实体召回和词汇外单词的召回优势。

    Jun, 2023

  • 单语言识别器在混合语音识别中的融合

    本文提出了一种单语言识别器融合方法用于语码混合自动语音识别，通过两个阶段实现：语音感知阶段和语言融合阶段，并提出了文本模拟策略简化 BELM 训练过程并减少对语码混合数据的依赖。实验表明，使用开源预训练的 MAM 后，测试集上的混合错误率显著降低。

    Nov, 2022

  • 汉英混合口语端到端语音识别的解决方案

    该论文以声音识别为例，探讨行话中的语言混杂现象，并提出一种多任务学习的解决方案，并针对代码切换情境下的数据稀疏问题提出了词汇扩展方法，并在 SEAME 数据上进行了实验验证。

    Nov, 2018

  • CodeFuse-13B：一个预训练的多语言编码大型语言模型

    CodeFuse-13B 是一个针对包括英文和中文提示的代码相关任务设计的开源预训练代码 LLM，通过使用高质量预训练数据集，在真实世界使用场景、人工评估和特别设计的中国提示评估中进行了广泛实验，结果表明在代码生成、代码翻译、代码注释和测试案例生成等实际场景中，CodeFuse 比其他模型在面对中文提示时表现更好。

    Oct, 2023