Apr, 2023

CB-Conformer：面向有偏差词识别的上下文偏置 Conformer

PDF
TL;DR本文提出了 CB-Conformer 方法，将 Contextual Biasing Module 和自适应语言模型引入到 vanilla Conformer 中，用于改进偏见词识别。同时，作者还构建并公开了一个基于 WenetSpeech 的普通话偏见词数据集。实验证明，相比于基准 Conformer，我们的方法使字符错误率减少了 15.34％，偏见词召回率增加了 14.13％，偏见词 F1 分数提高了 6.80％。
cb-conformerbiased word recognitioncontextual biasing moduleself-adaptive language modelmandarin biased-word dataset
发现论文，激发创造
  • 基于 Conformer 的鲁棒自动语音识别模型

    本研究采用基于 Conformer 的声学模型解决了自动语音识别中的鲁棒性问题，并在 CHiME-4 语料库的单声道 ASR 任务中经过测试，其使用 utterance-wise 归一化和说话人自适应的方式，相比经典的 wide residual 双向长短时记忆网络，减小了 18.3% 的模型大小，训练时间减少了 79.6％且相对误差率比 WRBN 低 8.4%。

    Mar, 2022

  • 自洽的上下文感知转移学习器用于语音识别

    我们提出了一种基于转录者的新型神经网络架构，通过增加上下文信息流来提高自动语音识别系统的准确性，特别是对于不常见的词语识别准确性的改进。我们研究了使用该新模型和 / 或与上下文语言模型浅层融合时不常见词的准确性改进，并发现两者的组合在不常见词识别准确性上具有累计增益。

    Feb, 2024

  • 神经传输器中的鲁棒声学语义上下文偏置在语音识别中的应用

    研究提出一种轻量级字符表示的方法来编码精细的发音特征，以提高基于声学相似性的情境偏倚，在与音频和情境实体相关的语义上执行情境偏倚，并集成预训练的神经语言模型（NLM）。在 Librispeech 数据集上进行的实验表明，在不同的情境偏见列表大小上，采用提出的声学偏倚和语义偏倚方法，相对于基线情境模型，Conformer Transducer 模型相对 WER 提高了 4.62％-9.26％。在大规模的内部数据集上，相对于基准模型，相对 WER 的提高为 7.91％。在 Librispeech 稀有单词和内部测试集上，尾部话语的表现甚至更加显著，分别实现了 36.80％和 23.40％的相对 WER 改善。

    May, 2023

  • 增强本地性动态偏置和采样策略用于上下文自动语音识别

    通过分析不同的采样策略和相关性图，本文首先对上下文偏置模块的训练进行了探究。其次，引入了邻居注意力机制来进一步优化上下文偏置的输出，实验结果表明相对于基准模型，在 LibriSpeech 数据集和稀有单词评估上平均相对词错误率提升了 25.84%。

    Jan, 2024

  • 具上下文的端到端自动语音识别及中间偏置损失

    提出了一种在编码器中使用显式偏置损失作为辅助任务的方法，以更好地将文本令牌或音频帧与预期目标对齐，并通过使用 RNN-transducer 驱动的联合解码来进一步降低无偏差的单词错误率（U-WER），从而实现更强大的网络。

    Jun, 2024

  • 基于转录器的流式语音识别中的自适应上下文偏置

    提出了一个基于上下文感知的变形器转录方法的自适应上下文偏置方法，通过使用有偏的编码器和预测器嵌入来执行流媒体预测，动态地开关偏差列表，以适应个性化和常见情况，实验证明相对于基线，它可以在常见情况下减少 WER 和 CER 达到 6.7％和 20.7％，在个性化情况下对性能影响极小，同时保持快速的推理管道。

    Jun, 2023

  • 面向端到端语音识别系统的上下文拼写纠正定制

    本研究提出了一种新方法，通过在端到端自动语音识别系统的顶部加入上下文拼写纠错模型，将上下文信息纳入序列到序列拼写纠正模型中，从而提高了识别速度和准确性。

    Mar, 2022

  • 具有上下文短语预测网络的情境化端到端语音识别

    本研究介绍了一种基于注意力机制的深度偏置方法中的语境短语预测网络，该网络使用上下文嵌入预测话语中的语境短语并计算偏置损失，以辅助训练文本化模型，改善了各种端到端语音识别模型的单词错误率（WER）。

    May, 2023

  • CB-Whisper: 基于文本到语音关键词检测的上下文偏置 Whisper

    Contextual Biasing Whisper (CB-Whisper) 是基于 OpenAI 的 Whisper 模型的一种新型自动语音识别（ASR）系统，在解码器之前进行关键词检测（KWS）。实验表明，通过将预测的实体结合到精心设计的口语提示中，Whisper 模型在覆盖仅英文、仅中文和代码切换情景的三个内部数据集和两个开源数据集上的混合错误率（MER）和实体召回率显著提高。

    Sep, 2023

  • 用引导注意力改进 ASR 上下文偏见

    通过引入引导注意力（GA）辅助训练损失，本研究提出了一种改进自动语音识别（ASR）上下文偏置的有效性和鲁棒性的方法，该方法在不引入额外参数的情况下改善了偏置短语数量增加时上下文偏置所能带来的字错误率（WER）减少。通过在 Conformer Transducer with Contextual Adapter 基础上进行大量实验，证明了所提出的方法不仅能降低 WER，而且在偏置短语数量增加时仍然保持其有效性。

    Jan, 2024