May, 2022

神经转换器中的个性化语音识别上下文适配器

PDF
TL;DR本文提出了通过训练神经上下文适配器来实现个性化的自动语音识别（ASR）模型，并表明，相对于浅层融合方法，这种方法不依赖于外部语言模型且性能更好。
automatic speech recognitionneural contextual adapterspersonalizationpretrained asr modelsshallow fusion
发现论文，激发创造
  • 使用神经联想记忆进行快速上下文适应，提高设备端个性化语音识别

    本文介绍一种基于模型的端到端语境自适应方法，它不依赖于解码器，适合用于设备上的个性化训练，实验结果表明，相比传统的重新评分技术，在连续个性化场景中，该方法可以使相对识别率（WER）提高 12％，实体提及特定 F1 得分提高 15.7％。

    Oct, 2021

  • 面向上下文的语音识别变换器转录器

    本文介绍了一种基于上下文的自动语音识别系统：context-aware transformer transducer (CATT) 网络，通过多头注意力机制、编码上下文数据和使用 BERT 等技术方法，取得了比基线 transformer transducer 和现有深度上下文模型分别提高了 24.2% 和 19.4% 的词错误率性能提升。

    Nov, 2021

  • 多语言上下文适配器：提高低资源语言中自定义单词识别的效果

    本文提出了一种监督损失的方法来平滑 Contextual Adapters 的训练，进一步探讨了多语言策略以提高有限的训练数据的性能，结果在一个低资源语言中检索未见过的自定义实体方面取得了 48％ F1 的提升。

    Jul, 2023

  • 噪声鲁棒自动语音识别适配器探索

    应用转移学习，通过将适配器整合到神经网络中，可以有效地处理未知噪声场景，并在浅层插入适配器能够得到更好的效果。实验证明，适配器在浅层和全层适配之间没有明显的差异；在相同数据量下，真实数据比模拟数据更为有效；多条件训练对适配器训练依然有效；将适配器整合到基于语音增强的 ASR 系统中能够大幅度提高性能。

    Feb, 2024

  • 对话行为引导的上下文适应器用于个性化语音识别

    本研究提出了一种对话行为引导的上下文适配器网络，改善了多轮对话中自然语言识别的性能，相较于现有技术提高了数量级，具体表现为相对相对单词误差率降低 58%。

    Mar, 2023

  • 具有困难负样本的上下文语音识别

    该文介绍了一种用于训练上下文机制的新方法，它使用参考文本中的专有名词和音相似的短语作为负面例子，帮助神经模型学习更具有区分度的表示，应用于端到端语音识别模型中可使单词错误率相对提高达 53.1%。

    Oct, 2018

  • 神经传输器中的鲁棒声学语义上下文偏置在语音识别中的应用

    研究提出一种轻量级字符表示的方法来编码精细的发音特征，以提高基于声学相似性的情境偏倚，在与音频和情境实体相关的语义上执行情境偏倚，并集成预训练的神经语言模型（NLM）。在 Librispeech 数据集上进行的实验表明，在不同的情境偏见列表大小上，采用提出的声学偏倚和语义偏倚方法，相对于基线情境模型，Conformer Transducer 模型相对 WER 提高了 4.62％-9.26％。在大规模的内部数据集上，相对于基准模型，相对 WER 的提高为 7.91％。在 Librispeech 稀有单词和内部测试集上，尾部话语的表现甚至更加显著，分别实现了 36.80％和 23.40％的相对 WER 改善。

    May, 2023

  • 训练和调整 RNN 转录自动语音识别模型的文本输入整合

    本文提出了一种新的文本表示和训练框架，用于对端到端自动语音识别模型进行内部语言模型（LM）的有效适应，仅使用新域的文本数据。实验表明这种方法能够显著提高模型的准确性并适用于不同的数据集。

    Feb, 2022

  • 一种基于似然比的 E2E 模型领域自适应方法

    本研究提出了一种基于上下文偏差和似然比的方法，用于改善自然语言下的自动语音识别的效果。该方法以 1-Best 错误率为主要指标，在多个跨领域数据集上相对提高了 10％的识别正确率，同时也优化了 8-Best Oracle WER。

    Jan, 2022

  • 开放领域自适应循环神经网络转录技术

    这篇论文提出对 RNN-T 模型进行修改，以利用附带的元数据文本，从而改善对于命名实体词汇的识别，并在社交媒体视频数据集上取得了 16% 左右的提升。

    Jun, 2020