本文介绍了一种基于上下文的自动语音识别系统：context-aware transformer transducer (CATT) 网络，通过多头注意力机制、编码上下文数据和使用 BERT 等技术方法，取得了比基线 transformer transducer 和现有深度上下文模型分别提高了 24.2% 和 19.4% 的词错误率性能提升。

Nov, 2021

研究提出一种轻量级字符表示的方法来编码精细的发音特征，以提高基于声学相似性的情境偏倚，在与音频和情境实体相关的语义上执行情境偏倚，并集成预训练的神经语言模型（NLM）。在 Librispeech 数据集上进行的实验表明，在不同的情境偏见列表大小上，采用提出的声学偏倚和语义偏倚方法，相对于基线情境模型，Conformer Transducer 模型相对 WER 提高了 4.62％-9.26％。在大规模的内部数据集上，相对于基准模型，相对 WER 的提高为 7.91％。在 Librispeech 稀有单词和内部测试集上，尾部话语的表现甚至更加显著，分别实现了 36.80％和 23.40％的相对 WER 改善。

May, 2023

提出了一种在编码器中使用显式偏置损失作为辅助任务的方法，以更好地将文本令牌或音频帧与预期目标对齐，并通过使用 RNN-transducer 驱动的联合解码来进一步降低无偏差的单词错误率（U-WER），从而实现更强大的网络。

Jun, 2024

通过 CTC-based Word Spotter 实现快速的上下文偏置识别，加速上下文偏置识别的同时提高了 F-score 和 WER，方法已经在 NVIDIA NeMo toolkit 中提供。

Jun, 2024

本文提出了一种高效的方法来获取高质量的语境词列表，并将其作为上下文信息融合到非流式编码器和解码器中，以生成最终的识别结果，实验证明与基线系统相比，相对字符错误率降低了 20% 以上。

Jan, 2023

本研究介绍了一种基于注意力机制的深度偏置方法中的语境短语预测网络，该网络使用上下文嵌入预测话语中的语境短语并计算偏置损失，以辅助训练文本化模型，改善了各种端到端语音识别模型的单词错误率（WER）。

May, 2023

提出了一种结合浅层融合、字典树和神经网络语言模型的方法，来利用动态的上下文信息，相比于已有的上下文偏置方法，这种方法最终的系统轻量且模块化，可以实现快速修改而无需重新训练，同时在开放域和约束化环境下都取得了显著的词错误率优化，特别是对于那些包含大部分稀有长尾词汇的语音转文字任务有着更高的表现。

Apr, 2021

该研究提出了一种新的语音识别模型，使用动态增强和电话对齐网络来优化编码器和解码器，在编码器中引入关注稀有单词和超出词汇表以及解码器中使用子词预测结果，结果表明 F1 可以达到 60%。

Oct, 2022

移动轻量级短语选择传递至上下文编码器前，可以将速度提高至 16.1 倍，并使得偏置能够适用于包含最多 20K 短语的情况，而最大的预解码延迟不超过 33ms。通过短语和词元级交叉熵损失的加入，我们的技术相较于没有这些损失和轻量级短语选择传递的基准技术，还获得了最多 37.5% 的相对词错误率降低。

Apr, 2024

本文提出了通过训练神经上下文适配器来实现个性化的自动语音识别（ASR）模型，并表明，相对于浅层融合方法，这种方法不依赖于外部语言模型且性能更好。

May, 2022