Jan, 2024

基于注意力偏置短语增强的情境化自动语音识别

PDF
TL;DR该论文提出了一种基于注意力的上下文偏置方法，利用可编辑的短语列表（称为偏置列表）来实现用户或开发人员的定制化，该方法通过组合偏置短语索引损失和特殊标记来有效地训练，以检测输入语音数据中的偏置短语。此外，为了进一步提高推理过程中的上下文化性能，我们提出了一种基于偏置短语索引概率的偏置短语增强（BPB）束搜索算法。实验结果表明，所提出的方法在 Librispeech-960（英文）和我们的内部（日文）数据集上一致改善了目标短语偏置列表的词错误率和字符错误率。
end-to-end automatic speech recognitioncontextual biasing methodeditable phrase listbias phrase index lossbias phrase boosted beam search algorithm
发现论文，激发创造
  • 上下文化动态词汇的自动语音识别

    通过使用动态词汇表中的短语级别偏置令牌，提出的方法改善了英语和日语数据集上偏置短语在端到端自动语音识别中的性能。

    May, 2024

  • 基于后验分布适应的混合 CTC / 注意力系统的端到端上下文 ASR

    该研究针对 End-to-end 语音识别模型在识别罕见专有名词上性能较差的问题，提出了一种基于上下文偏置注意力的改进方案。该方案通过在注意力编码器解码器模型中添加上下文偏置注意力模块，使模型有能力识别上下文短语。在 GigaSpeech 数据集上的实验结果表明，该方法相比基线模型，提高了 15％至 28％的偏置短语召回率，并且拥有较强的反偏置能力。

    Feb, 2022

  • 具有上下文短语预测网络的情境化端到端语音识别

    本研究介绍了一种基于注意力机制的深度偏置方法中的语境短语预测网络，该网络使用上下文嵌入预测话语中的语境短语并计算偏置损失，以辅助训练文本化模型，改善了各种端到端语音识别模型的单词错误率（WER）。

    May, 2023

  • 面向端到端语音识别系统的上下文拼写纠正定制

    本研究提出了一种新方法，通过在端到端自动语音识别系统的顶部加入上下文拼写纠错模型，将上下文信息纳入序列到序列拼写纠正模型中，从而提高了识别速度和准确性。

    Mar, 2022

  • 深度上下文：端到端的上下文语音识别

    本文提出了一种新颖的自动语音识别 (CLAS) 系统，它对上下文短语进行深层次融合，对 ASR 进行了联合优化，并且在测试阶段可以识别未知词汇，相对于传统的浅层融合方法，提高了 68% 的相对识别率。

    Aug, 2018

  • 增强本地性动态偏置和采样策略用于上下文自动语音识别

    通过分析不同的采样策略和相关性图，本文首先对上下文偏置模块的训练进行了探究。其次，引入了邻居注意力机制来进一步优化上下文偏置的输出，实验结果表明相对于基准模型，在 LibriSpeech 数据集和稀有单词评估上平均相对词错误率提升了 25.84%。

    Jan, 2024

  • 利用外部声学关注和语义感知数据增强来提高上下文拼写纠正

    本文提出了一种基于非自回归方法的拼写校正模型，该模型将声学信息和文本假设结合在一起，利用语义感知的数据增强模式，以增强自动语音识别中基于上下文偏见的校正效果。与基准 ASR + Biasing 系统相比，实验表明该改进方法相对名称召回率增益最高可达 20.3％，相对于以前的 CSC 方法也实现了稳定的改进。

    Feb, 2023

  • 神经传输器中的鲁棒声学语义上下文偏置在语音识别中的应用

    研究提出一种轻量级字符表示的方法来编码精细的发音特征，以提高基于声学相似性的情境偏倚，在与音频和情境实体相关的语义上执行情境偏倚，并集成预训练的神经语言模型（NLM）。在 Librispeech 数据集上进行的实验表明，在不同的情境偏见列表大小上，采用提出的声学偏倚和语义偏倚方法，相对于基线情境模型，Conformer Transducer 模型相对 WER 提高了 4.62％-9.26％。在大规模的内部数据集上，相对于基准模型，相对 WER 的提高为 7.91％。在 Librispeech 稀有单词和内部测试集上，尾部话语的表现甚至更加显著，分别实现了 36.80％和 23.40％的相对 WER 改善。

    May, 2023

  • 具上下文的端到端自动语音识别及中间偏置损失

    提出了一种在编码器中使用显式偏置损失作为辅助任务的方法，以更好地将文本令牌或音频帧与预期目标对齐，并通过使用 RNN-transducer 驱动的联合解码来进一步降低无偏差的单词错误率（U-WER），从而实现更强大的网络。

    Jun, 2024

  • 使用 Knuth-Morris-Pratt 匹配算法的上下文偏差

    基于 Knuth-Morris-Pratt 算法的上下文偏置方法通过在束搜索期间提升匹配到一组偏置短语的令牌扩展的得分来解决偏向稀有实体的自动语音识别系统的问题，在不引入额外模型参数的情况下，本方法自身在偏置测试集上实现了显著的词错误率的降低，并在与基于模型的偏置方法相结合时获得了进一步的性能提升。

    Sep, 2023