Oct, 2022

基于转录器的自动语音识别域自适应过程中的损伤控制

PDF
TL;DR本文探讨了如何同时适应新领域和限制模型在原领域的准确性降低的问题，提出了几种技术，如限制培训策略和规范化适配器模块，应用于 Google Speech Commands 和英国爱尔兰英语口音数据集，并在新的目标域上取得了良好的结果并限制了原始领域上的恶化。
发现论文，激发创造
  • 基于教师 - 学生学习的大规模领域自适应

    本文提出一种用于领域自适应的方法，不需要转录数据，而是使用源域和目标域的无标记平行数据，利用教师 / 学生学习方法在目标域中训练模型，并在两种场景下进行评估，实现了显著的准确率提升，尤其是当使用模拟训练数据时，增加了模型的鲁棒性。

    Aug, 2017

  • 基于文本的 RNN-Transducer 预测网络快速领域自适应

    本文研究了如何使用少量文本数据来有效地将 RNN-transducer 模型适应于新的领域，同时保持较好的泛化能力，避免了复杂的解码和外部语言模型需要。同时，本文表明该方法在目标任务的 ASR 评估中可以提供相对增益 10-45% 的性能提升，并分享了 RNN-transducer 预测网络作为语言模型的性能表现等相关见解。

    Apr, 2021

  • 基于变分自编码数据增强的无监督领域自适应技术，用于提高语音识别鲁棒性

    本文采用基于自动选择属性变化的方法，通过对抗性学习和数据增强对源域语音数据进行协同变换以解决在鲁棒语音识别中遇到的训练 - 测试领域差异问题，实验表明将绝对词语误差率最多降低 35%。

    Jul, 2017

  • 无监督领域自适应语音识别与无监督错误校正

    本文提出了一种无监督自适应错误校正方法，可以在未见过的领域中恢复由领域差异引起的语音识别错误，使用伪标记技术生成学习样本，在持续学习中以减少过度拟合，并使用编码器 - 解码器校正模型结合其他信息以进一步提高适应性，实验结果表明，该方法相对于未自适应的 ASR 系统显著降低了单词错误率，并可用于其他适应方法以带来额外的 10% 的性能提升。

    Sep, 2022

  • 使用合成数据的端到端自适应语音识别系统的简单基线

    本文提出了一种简单的基线技术，使用单个扬声器的 TTS 引擎将纯文本语料库转换为音频数据，并使用目标域中的并行数据对通用 ASR 模型的最终密集层进行微调，结果表明，单个发声者 TTS 数据与仅微调最终密集层的结合可合理提高单词错误率.

    Jun, 2022

  • 基于模块化领域自适应的 Conformer 流式自动语音识别

    本文提出了一种名为模块化域自适应的框架，通过向 Conformer 编码器中添加适合各个域的适配器和前馈网络，使单个 Conformer transducer 模型能够处理各个领域的语音数据，从而大幅提升了语音识别的性能。

    May, 2023

  • 通过对抗域适应缓解语音识别误差对口语问答的影响

    该研究提出利用对抗模型来适应 ASR 错误，减少其对口语问答系统的影响，实验证明其效果优于之前的最佳模型。

    Apr, 2019

  • 基于对抗学习的无监督领域自适应技术，用于提高语音识别的鲁棒性

    利用对抗性学习进行无监督适应性，采用神经网络和未分类的适应性数据解决了远程语音识别问题，相对于没有适应的模型，相对词错误率下降了 19.8%。

    Jul, 2018

  • 在转换器中使用统一的语音 - 文本表示进行仅限于文本的域自适应

    本研究提出了一种方法 —— 学习统一的语音文本表示，在端到端的语音识别中实现快速适应，该方法可以使用文本语料库进行域自适应，同时还可以改善适应的效率，并与内部语言模型估计相结合，进一步提高性能。

    Jun, 2023

  • 先自主训练再转录

    研究表明，对于训练和测试领域不匹配的情况下，当前的语音识别系统会显示出较大的性能下降。自我训练方法可以帮助解决这个问题，并在域漂移的情况下使模型适应。本文调查了在测试集上进行噪声学生教师训练作为测试时自适应方法的效益，类似于语言模型的动态评估方法，它可以在话语边界之间传递信息并作为一种域适应方法。实验中使用了一系列领域内和领域外数据集，展示了高达 32.2％的相对增益。有趣的是，我们的方法显示出比典型的自我训练设置使用单独的适应数据的更大增益。

    Jun, 2024