Apr, 2022

使用 LM-aware MWER 训练来提高罕见词语识别

PDF
TL;DR该研究介绍了在 discriminative training framework 中如何在 hybrid autoregressive transducer (HAT) 模型的学习中引入语言模型 (LMs) 来缓解训练和推理过程中使用 LMs 存在的差距。在浅层融合和重甄时，使用 LMs 显着提高了仅在训练期间极少见的单词的识别准确性。
发现论文，激发创造
  • 基于大规模语言模型的长篇数据重打分

    研究表明，在使用大规模语言模型的情况下，对于长篇 ASR 测试集，可以使 Word Error Eate 和 Salient Term Error Rate 分别减少 8% 和 30%。

    Jun, 2023

  • 使用大型语言模型进行大规模多语言浅层融合

    利用单一多语言语言模型（LM）来进行多语言浅层融合任务，并将其应用于最先进的端到端模型，相对于类似推理期间的密集 LM ，GLaM 可将英语长尾测试集的 WER 降低 4.4 ％，平均相对 WER 降低 3.85％，并且最高降低 10％。

    Feb, 2023

  • 贝叶斯 Transformer 语言模型在语音识别中的应用

    使用贝叶斯学习框架和变分推断优化，提高了 Transformer 神经语言模型的泛化性能和模型鲁棒性。在 Switchboard 语料库和 DementiaBank 中的实验都获得了明显的性能提升。

    Feb, 2021

  • 大规模语言模型词表筛选在低频词语音识别中的应用

    通过降采样、明确筛选稀有词以及使用基于困惑度的对比筛选等简单的策略，结合生产语音引擎，利用语言模型融合技术，相对于使用原始语料训练出的语言模型，使智能语音助手能够更好地辨别听众说出的稀有词而不影响总体识别准确率，并在实时语音搜索流量中得到了有利的侧面对比评估结果。

    Mar, 2022

  • 语言模型融合 ASR 中无意记忆的检测

    通过黑匣子查询语言模型融合的语音识别器，检测语言模型训练数据中个别文本序列的记忆化现象，并通过梯度裁剪的语言模型训练方法降低此类记忆化对隐私的影响，同时不影响模型整体质量。

    Apr, 2022

  • 终端到终端音频识别的声学模型融合

    最近在深度学习和自动语音识别（ASR）方面的进展使得端到端（E2E）ASR 系统成为可能，并且将准确性提升到一个新的水平。我们提出将外部的 AM 整合到 E2E 系统中，以更好地解决领域不匹配问题，并取得了显著的词错误率降低，尤其在增强命名实体识别方面效果明显。

    Oct, 2023

  • 模块化混合自回归传感器

    本文提出了一种模块化混合自回归转录器（MHAT），该转录器具有结构上分离的标签和空白解码器，涉及共享的声学编码器，因此在语音识别中具有方便的文本自适应性和内部语言模型。在大量实验中该方法的内部语言模型具有高效性，因此在 Google 大规模生产数据中，使用 MHAT 相比 400K 小时的 HAT 训练，进行文本自适应后，无需语言融合可获得高达 12.4％的相对字错率减少和 21.5％的相对字错率减少与语言融合。

    Oct, 2022

  • 使用词级 N-Gram 语言模型改进普通话端到端语音识别

    本研究提出了一种新型的解码算法，可以结合外部语言模型，构建单词级别的 lattice，用于提高语音识别的表现，并在 Aishell-1 和 Aishell-2 的数据集上取得了最优结果。

    Jan, 2022

  • 利用大型语言模型进行端到端语音识别的语境化

    通过引入一种新方法，结合大型语言模型（LLMs）来进行上下文化的语音识别模型，我们证明通过添加适配器的少量可训练参数，可以在保持相同的文本输入功能的同时，实现预训练 LLM 的上下文化语音识别能力并显著提高性能。

    Sep, 2023

  • 分解转导模型的有效内部语言模型训练和融合

    基于因子化转导模型的新型内部语言模型 (ILM) 训练和解码策略，在 LibriSpeech 数据集上相对于标准解码方法获得了 17% 的相对改进，并与外部语言模型融合强化的强 RNN-T 基线相比，在一般集上获得了 5.5% 的相对改进和对于罕见单词的 8.9% WER 降低。该模型在无需依赖外部语言模型的情况下，达到了优秀的性能，非常适用于生产用例，并提出了一种新颖且内存高效的 ILM 融合意识的最小词误差率 (MWER) 训练方法来进一步提升性能。

    Apr, 2024