Feb, 2019

一种用于端到端语音识别的拼写校正模型

PDF
TL;DR该研究提出了一种新方法以训练拼写纠错模型来纠正注意力机制序列到序列语音识别模型中的错误，从而改进了性能。在 LibriSpeech 数据集上，该模型相对于基线模型的相对改进为 18.6％，相对于使用扩展语言模型重新评分的 n-best 列表的改进为 29.0％。
发现论文，激发创造
  • 面向语音识别的纠错式语言模型训练

    通过优先考虑易误识别词汇，使用大型语言模型进行纠错训练，以提高自动语音识别的性能，对于领域适应任务可获得相对 5.5% 的字词错误率降低。

    Oct, 2023

  • 低资源环境下基于语言模型的上下文拼写纠错

    通过训练小规模的基于词的 Transformer 语言模型，提取语料库中的概率性错误规则，结合语言模型和错误模型，通过嘈杂信道框架开发拼写校正模型，实验验证了该方法在尼泊尔语中的有效性。

    Apr, 2024

  • 将外部语言模型融入到序列到序列模型的分析

    本研究研究了基于注意力机制的序列到序列模型中对于浅层融合仿照外部语言模型在多种语言模型、不同的解码单元和不同任务下的一系列行为。在 Google 语音搜索中，我们证明使用基于字单位的神经语言模型和浅层融合可以相对于具有竞争力的注意力机制序列到序列模型将单词错误率降低了 9.1%，避免了需要进行第二遍 rescoring 操作。

    Dec, 2017

  • 终端到终端音频识别的声学模型融合

    最近在深度学习和自动语音识别（ASR）方面的进展使得端到端（E2E）ASR 系统成为可能，并且将准确性提升到一个新的水平。我们提出将外部的 AM 整合到 E2E 系统中，以更好地解决领域不匹配问题，并取得了显著的词错误率降低，尤其在增强命名实体识别方面效果明显。

    Oct, 2023

  • 无配对训练数据语音命名实体识别端到端模型

    本文提出了一种基于外部模型训练的新型端到端神经模型，用于提取语音信号中的语义信息，并使用 SLU 神经模块替换 ASR 模型的顶层，实现端到端模型的构建。实验结果表明，此方法在 QUAERO 语料库上具有很高的性能。

    Apr, 2022

  • 基于上下文的独立神经拼写校正

    本文提出了一种利用拼写信息和全局上下文信息共同解决自然语言处理中拼写纠错问题的简单、有效方法，即通过改进预训练语言模型的微调，将拼写纠错看作一个序列标注任务，并在此基础上显著提升之前最先进结果 12.8% 的 F0.5 评分。

    Nov, 2020

  • 从语言模型向序列到序列语音识别中迁移拼写知识：向教师学拼写

    本文提出了一种基于知识蒸馏的训练方法，将外部语言模型集成到序列到序列语音识别系统中，通过递归神经网络语言模型生成软标签来指导序列到序列模型的训练，以此来降低字符错误率。

    Jul, 2019

  • 使用序列到序列模型进行自动语音识别的误差校正

    该研究使用预训练序列到序列模型 BART，并对其进行自适应训练来对自动语音识别中的发音和拼写错误进行纠正，并采用词级对齐的简单方法重新评分。实验结果表明，该策略在口音语音数据上有效地矫正了大量 ASR 错误，并在与基准系统的比较中产生了改进的 WER 结果。然而，在印地语语法错误纠正任务中，该模型捕捉更广泛上下文的能力受到限制。

    Feb, 2022

  • 使用统一的语音与文本编码器 - 解码器来改善 ASR

    本研究利用外部文本数据提高自动语音识别的性能，探讨了一种方法，在共享解码器和编码器部分的集合中，联合训练自动语音识别和掩码语言模型。经实验验证，该方法在测试中取得了非常好的效果，耗时不增加。

    Feb, 2022

  • 利用外部声学关注和语义感知数据增强来提高上下文拼写纠正

    本文提出了一种基于非自回归方法的拼写校正模型，该模型将声学信息和文本假设结合在一起，利用语义感知的数据增强模式，以增强自动语音识别中基于上下文偏见的校正效果。与基准 ASR + Biasing 系统相比，实验表明该改进方法相对名称召回率增益最高可达 20.3％，相对于以前的 CSC 方法也实现了稳定的改进。

    Feb, 2023