Oct, 2021

使用神经联想记忆进行快速上下文适应，提高设备端个性化语音识别

PDF
TL;DR本文介绍一种基于模型的端到端语境自适应方法，它不依赖于解码器，适合用于设备上的个性化训练，实验结果表明，相比传统的重新评分技术，在连续个性化场景中，该方法可以使相对识别率（WER）提高 12％，实体提及特定 F1 得分提高 15.7％。
contextual adaptationautomatic speech recognitionon-device trainingend-to-end modelpersonalization
发现论文，激发创造
  • 神经转换器中的个性化语音识别上下文适配器

    本文提出了通过训练神经上下文适配器来实现个性化的自动语音识别（ASR）模型，并表明，相对于浅层融合方法，这种方法不依赖于外部语言模型且性能更好。

    May, 2022

  • 多语言上下文适配器：提高低资源语言中自定义单词识别的效果

    本文提出了一种监督损失的方法来平滑 Contextual Adapters 的训练，进一步探讨了多语言策略以提高有限的训练数据的性能，结果在一个低资源语言中检索未见过的自定义实体方面取得了 48％ F1 的提升。

    Jul, 2023

  • 端设备个性化语音识别模型的研究调查

    本文探讨利用个人化的端到端语音识别模型在移动设备上安全训练，使用户数据和模型不离开设备和服务器，以提高数据隐私和可扩展性。实验结果表明，在设备个性化的情况下，相对词误差率降低了 63.7％，性能略有下降（18.7％）但是最终实现了更好的数据隐私保护。

    Sep, 2019

  • 具有困难负样本的上下文语音识别

    该文介绍了一种用于训练上下文机制的新方法，它使用参考文本中的专有名词和音相似的短语作为负面例子，帮助神经模型学习更具有区分度的表示，应用于端到端语音识别模型中可使单词错误率相对提高达 53.1%。

    Oct, 2018

  • 端到端 ASR 适应的即时文本检索

    本文提出一种在已有的 ASR 模型中添加检索语言模型，以直接从外部文本语料库中检索可能的完成语来改善模型性能，并使用适配器将这些完成语集成到后续的预测中，避免了重新训练的计算开销。该模型在问答数据集和特定领域命名实体识别等任务上表现均优于现有的浅层融合方法。

    Mar, 2023

  • 面向语音识别的统一说话人适应方法

    本文提出了一种基于特征适应和模型适应的统一说话人自适应方法，其中采用一种说话人感知的持久性记忆模型进行特征适应，并使用一种新颖的逐步修剪方法进行模型适应。在 Librispeech 数据集上的实验结果表明，相对于基线方法，在一般说话人自适应和目标说话人自适应中使用所提出的方法可带来 2.74-6.52% 的词错误率下降，并且该方法具有良好的低资源适应性能。

    Oct, 2021

  • 一种用于上下文化普通话语音识别的高效文本增强方法

    使用简单的文本增强技术借助大量纯文本数据集来构建编码簿，可以提高预训练的 ASR 模型的上下文信息，从而显著提升识别性能。

    Jun, 2024

  • 动态环境下的短期词汇学习

    本文研究了如何动态地获取重要的词汇以及将重要的关键词从支持性文档中提取并用于标记单词记忆，以显著提高新词的检测率，并在只添加少量单词的情况下仅轻微增加误报率。

    Mar, 2022

  • 跨口音语音识别上的快速适应学习

    研究了方言对同一语言单词发音的影响，提出了一种基于模型对抗元学习算法的跨方言英语语音识别任务，通过实验表明该方法显著优于联合训练。

    Mar, 2020

  • 对话行为引导的上下文适应器用于个性化语音识别

    本研究提出了一种对话行为引导的上下文适配器网络，改善了多轮对话中自然语言识别的性能，相较于现有技术提高了数量级，具体表现为相对相对单词误差率降低 58%。

    Mar, 2023