基于文本的 RNN-Transducer 预测网络快速领域自适应

Apr, 2021

基于文本的 RNN-Transducer 预测网络快速领域自适应

Fast Text-Only Domain Adaptation of RNN-Transducer Prediction Network

Janne Pylkkönen, Antti Ukkonen, Juho Kilpikoski, Samu Tamminen, Hannes Heikinheimo

TL;DR本文研究了如何使用少量文本数据来有效地将 RNN-transducer 模型适应于新的领域，同时保持较好的泛化能力，避免了复杂的解码和外部语言模型需要。同时，本文表明该方法在目标任务的 ASR 评估中可以提供相对增益 10-45% 的性能提升，并分享了 RNN-transducer 预测网络作为语言模型的性能表现等相关见解。

Abstract

Adaption of end-to-end speech recognition systems to new tasks is known to be challenging. A number of solutions have been proposed which apply external language models with various fusion methods, possibly with a combination of two-pass decoding. Also TTS systems have been used to gen

end-to-end speech recognition language model adaptation rnn-transducer models asr evaluation

发现论文，激发创造

训练和调整 RNN 转录自动语音识别模型的文本输入整合

本文提出了一种新的文本表示和训练框架，用于对端到端自动语音识别模型进行内部语言模型（LM）的有效适应，仅使用新域的文本数据。实验表明这种方法能够显著提高模型的准确性并适用于不同的数据集。

Feb, 2022

具备自定义能力的 RNN-T 模型超越高性能混合模型

本文中，我们介绍了最近开发的 RNN-T 模型，它在训练期间具有较小的 GPU 内存消耗、更好的初始化策略和先进的编码器建模，对 Microsoft 的 6.5 万小时的匿名训练数据进行训练后，开发的 RNN-T 模型优于经过训练良好的混合模型，同时具有更好的识别准确性和更低的延迟。我们进一步研究了如何将 RNN-T 模型定制为新领域，并比较了几种使用新领域纯文本数据的方法。研究发现，利用特定领域文本生成的文本到语音更新 RNN-T 的预测和联合网络最有效。

Jul, 2020

使用 RNN-Transducer 探索流式端到端语音识别的架构、数据和单位

本研究使用循环神经网络传输器（RNN-T）来训练端到端语音识别模型，并探索了不同的模型架构。通过使用字元素（wordpieces），模型的性能进一步得到了提高，最终在语音搜索和语音听写任务上取得了与最新基线相当的成果。

Jan, 2018

基于流式递归神经网络转录器的神经语言模型融合改进

本文提出了一种扩展技术，使 RNN-T 能够利用外部神经网络语言模型（NNLM），从而增强了 Librispeech 上 13-18％的相对词错误率，同时保持了系统的流畅性，灵活性和轻量性。

Oct, 2020

基于 Transformer-RNN-Transducer 的多任务学习和联合优化语音识别

本论文探讨了 transformer-RNN-transducer 系统的多任务学习、联合优化和联合解码方法，证明了这些方法能够有效地降低字词错误率，从而保持大型文本语料库的信息。

Nov, 2020

基于转录器的自动语音识别域自适应过程中的损伤控制

本文探讨了如何同时适应新领域和限制模型在原领域的准确性降低的问题，提出了几种技术，如限制培训策略和规范化适配器模块，应用于 Google Speech Commands 和英国爱尔兰英语口音数据集，并在新的目标域上取得了良好的结果并限制了原始领域上的恶化。

Oct, 2022

用于端到端语音识别模型的文本适应的快速准确因式分解神经转录器

介绍了因文本数据处理能力有限而提出的 FNT 模型及其在语音识别领域中的存在意义，并提出了多种方法来优化模型性能，使用这些方法后，相比于标准 FNT 模型，模型的错误率下降了 9.48%。

Dec, 2022

文本领域适应的改进因式化神经转导模型

通过设立独立语料库解码器预测词汇，改进因式神经变换器（IFNT）模型结构综合整合声学和语言信息，实现有效的文本适应，并在实验中展现了相对于标准神经变换器与浅层融合模型的 7.9% 至 28.5% 的相对词误率改善和相对于 FNT 模型的 1.6% 至 8.2% 的词误率降低。

Sep, 2023

使用合成数据的端到端自适应语音识别系统的简单基线

本文提出了一种简单的基线技术，使用单个扬声器的 TTS 引擎将纯文本语料库转换为音频数据，并使用目标域中的并行数据对通用 ASR 模型的最终密集层进行微调，结果表明，单个发声者 TTS 数据与仅微调最终密集层的结合可合理提高单词错误率.

Jun, 2022

RNN-Transducers 中的隐式语言模型自适应贴现

本文针对 RNN-T 在稀有词识别中的性能下降问题，提出了一种轻量级自适应 LM 折扣技术 AdaptLMD，通过在内部语言模型中动态选择性折扣，随机掩盖预测网络输出等方法，比较基准模型，相对于会话式的代码混合 Hindi - 英语 ASR 任务，在整体 WER 和稀有词 PER 方面分别获得了 4％和 14％的相对性能提升。

Feb, 2022