该论文提出了一种基于注意力的上下文偏置方法，利用可编辑的短语列表（称为偏置列表）来实现用户或开发人员的定制化，该方法通过组合偏置短语索引损失和特殊标记来有效地训练，以检测输入语音数据中的偏置短语。此外，为了进一步提高推理过程中的上下文化性能，我们提出了一种基于偏置短语索引概率的偏置短语增强（BPB）束搜索算法。实验结果表明，所提出的方法在 Librispeech-960（英文）和我们的内部（日文）数据集上一致改善了目标短语偏置列表的词错误率和字符错误率。

Jan, 2024

通过使用动态词汇表中的短语级别偏置令牌，提出的方法改善了英语和日语数据集上偏置短语在端到端自动语音识别中的性能。

May, 2024

本研究提出了一种新方法，通过在端到端自动语音识别系统的顶部加入上下文拼写纠错模型，将上下文信息纳入序列到序列拼写纠正模型中，从而提高了识别速度和准确性。

Mar, 2022

本研究介绍了一种基于注意力机制的深度偏置方法中的语境短语预测网络，该网络使用上下文嵌入预测话语中的语境短语并计算偏置损失，以辅助训练文本化模型，改善了各种端到端语音识别模型的单词错误率（WER）。

May, 2023

研究提出一种轻量级字符表示的方法来编码精细的发音特征，以提高基于声学相似性的情境偏倚，在与音频和情境实体相关的语义上执行情境偏倚，并集成预训练的神经语言模型（NLM）。在 Librispeech 数据集上进行的实验表明，在不同的情境偏见列表大小上，采用提出的声学偏倚和语义偏倚方法，相对于基线情境模型，Conformer Transducer 模型相对 WER 提高了 4.62％-9.26％。在大规模的内部数据集上，相对于基准模型，相对 WER 的提高为 7.91％。在 Librispeech 稀有单词和内部测试集上，尾部话语的表现甚至更加显著，分别实现了 36.80％和 23.40％的相对 WER 改善。

May, 2023

本文介绍了一个使用上下文偏置列表对 ASR 进行计算的公共基准任务，并提出了一种替代拼写预测模型，它相对于不使用替代拼写的上下文偏置提高了罕见单词的召回率和词汇外单词的召回率。

Sep, 2022

移动轻量级短语选择传递至上下文编码器前，可以将速度提高至 16.1 倍，并使得偏置能够适用于包含最多 20K 短语的情况，而最大的预解码延迟不超过 33ms。通过短语和词元级交叉熵损失的加入，我们的技术相较于没有这些损失和轻量级短语选择传递的基准技术，还获得了最多 37.5% 的相对词错误率降低。

Apr, 2024

该研究针对 End-to-end 语音识别模型在识别罕见专有名词上性能较差的问题，提出了一种基于上下文偏置注意力的改进方案。该方案通过在注意力编码器解码器模型中添加上下文偏置注意力模块，使模型有能力识别上下文短语。在 GigaSpeech 数据集上的实验结果表明，该方法相比基线模型，提高了 15％至 28％的偏置短语召回率，并且拥有较强的反偏置能力。

Feb, 2022

提出了一种在编码器中使用显式偏置损失作为辅助任务的方法，以更好地将文本令牌或音频帧与预期目标对齐，并通过使用 RNN-transducer 驱动的联合解码来进一步降低无偏差的单词错误率（U-WER），从而实现更强大的网络。

Jun, 2024

通过引入引导注意力（GA）辅助训练损失，本研究提出了一种改进自动语音识别（ASR）上下文偏置的有效性和鲁棒性的方法，该方法在不引入额外参数的情况下改善了偏置短语数量增加时上下文偏置所能带来的字错误率（WER）减少。通过在 Conformer Transducer with Contextual Adapter 基础上进行大量实验，证明了所提出的方法不仅能降低 WER，而且在偏置短语数量增加时仍然保持其有效性。

Jan, 2024