Feb, 2023

JEIT: 语音识别的联合端到端模型和内部语言模型训练

PDF
TL;DR提出了一种使用大规模非配对文本来改善说话者对罕见单词的识别能力的训练方法 JEIT，它结合了端到端模型和内部语言模型训练，其中内部语言模型吸收非配对文本，接受 E2E 计算损失信息，从而提高 E2E 模型的性能。在 JEIT 过程中，MHAT 表现比 HAT 更佳，在 ILM 适应时更加稳定，此外，我们还提出了结合 JEIT 和 JOIST 的 CJJT 方法，它能更有效地实现语言模型的融合。
rare-word recognitione2e modelinternal language modelunpaired textmodular hybrid autoregressive transducer
发现论文，激发创造
  • 领域适应端到端语音识别的内部语言模型估计

    提出了一种内部语言模型估计（ILME）方法，用于在无需额外模型训练的情况下，更有效地集成外部 LM 并改善端到端自动语音识别中的域不匹配问题，包括最受欢迎的循环神经网络转录器（RNN-T）和基于注意力的编码器 - 解码器（AED）模型。

    Nov, 2020

  • JOIST：一种联合语音和文本流模型用于自动语音识别

    我们提出 JOIST 算法，使用音频文本配对输入和仅文本未配对输入训练流式级联编码器端到端模型。与以往的工作不同，我们探索了同时训练两种模态的联合训练方法，而不是预训练和微调。此外，我们使用了一种流式端到端模型，并增加了一个数量级的数据量，这些都是与以往工作相比的新颖之处。通过一系列去除研究，我们研究了不同类型的文本建模，包括如何建模文本序列的长度和适当的文本子单词单元表示。我们发现，与未训练文本的模型相比，针对 JOIST 的最佳文本表示方式可以相对提高 4-14% 的 WER，而且我们定量显示 JOIST 仍然具备流式处理的能力，这对用户体验很重要。

    Oct, 2022

  • 一种利用非配对语音和文本进行低资源自动语音识别的补充联合训练方法

    本篇论文介绍了如何利用未配对的语音和文本数据，通过生成相应的缺失部分进行模型训练，并提出了一种称为 CJT++ 的补充联合训练方法，包括伪标签的标签掩蔽和合成音频的梯度限制，以应对与真实数据的偏差。实验结果表明，相比于仅使用语音进行训练，所提出的基本 CJT 方法在干净 / 其他测试集上实现了显著的性能提升，CJT++ 重新训练进一步增强了性能，并在极低资源情况下特别优于相同模型大小和波束大小的 wav2vec2.0 模型。

    Apr, 2022

  • 探索迁移学习用于端到端语音理解

    本文提出了一种多任务联合训练的端到端语音理解模型 “Audio-Text All-Task (AT-AT) Model”，该模型能够同时训练语音转文字、语音理解和文本理解任务，不仅可以在多个数据集上实现最优性能，还可用于零 - shot 端到端语音理解任务。

    Dec, 2020

  • 基于内部语言模型估计的跨领域代码切换语音识别语言模型融合

    本研究基于 ILME 的 LM 融合方法，在跨领域的混合语音识别任务中，展示了比传统浅度融合更显著的识别效果。也针对跨领域的混合语音识别任务，尝试融合两个单语言数据集，构建 E2E 语音识别模型。通过实验证明了提出的 ILME-based LM 融合方法的有效性，同时使用了 SEAME 和中国大陆 CS 数据集进行了评估。

    Jul, 2022

  • 基于流式端到端模型的大规模多语言语音识别

    本文介绍了一种使用条件向量和针对语言的适配器层结合的多语言端到端模型，取得了比单语言模型和传统模型都更低的语音识别误差率。

    Sep, 2019

  • 终端到终端音频识别的声学模型融合

    最近在深度学习和自动语音识别（ASR）方面的进展使得端到端（E2E）ASR 系统成为可能，并且将准确性提升到一个新的水平。我们提出将外部的 AM 整合到 E2E 系统中，以更好地解决领域不匹配问题，并取得了显著的词错误率降低，尤其在增强命名实体识别方面效果明显。

    Oct, 2023

  • 通过跨模态多粒度对比学习提高语音翻译质量

    该论文提出了一种 FCCL 方法，通过跨模态多粒度对比学习来实现显式知识转移，该方法在多语言和多粒度上显著优于 E2E-ST 基线，有助于提取包含丰富语义信息的语音表示。

    Apr, 2023

  • 具有有限数量丰富训练数据的端到端联合丰富和标准化 ASR

    比较了两种方法来训练具有有限数量的丰富标签数据的无状态变换器的端到端联合丰富和规范自动语音识别系统，其中第一种方法使用语言模型生成规范化训练数据的伪丰富转录，第二种方法使用单个解码器以输出类型为条件。第一种方法提供了更好的外域数据性能，相对误差减少了 9%。第二种方法展示了使用低至 5% 丰富训练数据的端到端联合丰富和规范自动语音识别系统的可行性，误差增加了 2.42% 绝对值。

    Nov, 2023

  • 低资源多语音声学模型融合的非线性两两语言映射

    在多语种语音识别中，为了弥补低资源语言的数据匮乏，人们广泛使用多功能语音识别。 本文提出了一种新颖的混合 DNN-HMM 声学模型融合方法，实现了多种低资源语言的跨语音识别，且相对于多功能和单语基线，后验融合得到了 14.65％和 6.5％的相对收益。

    Jul, 2022