Dec, 2017

将外部语言模型融入到序列到序列模型的分析

PDF
TL;DR本研究研究了基于注意力机制的序列到序列模型中对于浅层融合仿照外部语言模型在多种语言模型、不同的解码单元和不同任务下的一系列行为。在 Google 语音搜索中，我们证明使用基于字单位的神经语言模型和浅层融合可以相对于具有竞争力的注意力机制序列到序列模型将单词错误率降低了 9.1%，避免了需要进行第二遍 rescoring 操作。
发现论文，激发创造
  • 使用大型语言模型进行大规模多语言浅层融合

    利用单一多语言语言模型（LM）来进行多语言浅层融合任务，并将其应用于最先进的端到端模型，相对于类似推理期间的密集 LM ，GLaM 可将英语长尾测试集的 WER 降低 4.4 ％，平均相对 WER 降低 3.85％，并且最高降低 10％。

    Feb, 2023

  • 从语言模型向序列到序列语音识别中迁移拼写知识：向教师学拼写

    本文提出了一种基于知识蒸馏的训练方法，将外部语言模型集成到序列到序列语音识别系统中，通过递归神经网络语言模型生成软标签来指导序列到序列模型的训练，以此来降低字符错误率。

    Jul, 2019

  • 语言无关端到端自动语音识别的迁移学习与语言模型融合

    本文探讨了一种更好的适应低资源语言的方法，采用外部语言模型（LM）在转移学习框架下。通过在共享词汇表的统一序列到序列（S2S）架构中构建语言无关的 ASR 系统，并在整个适应阶段将外部 LM 集成到基于注意力的 S2S 模型的解码器网络中的 LM 融合转移来有效地融合目标语言的语言上下文。作者还研究了各种用于转移学习的种子模型。实验评估使用 IARPA BABEL 数据集表明，当外部文本数据可用时，LM 融合转移比简单转移学习改善了所有五种目标语言的性能。最终系统使混合系统的性能差距大大降低。

    Nov, 2018

  • 一种用于端到端语音识别的拼写校正模型

    该研究提出了一种新方法以训练拼写纠错模型来纠正注意力机制序列到序列语音识别模型中的错误，从而改进了性能。在 LibriSpeech 数据集上，该模型相对于基线模型的相对改进为 18.6％，相对于使用扩展语言模型重新评分的 n-best 列表的改进为 29.0％。

    Feb, 2019

  • 终端到终端音频识别的声学模型融合

    最近在深度学习和自动语音识别（ASR）方面的进展使得端到端（E2E）ASR 系统成为可能，并且将准确性提升到一个新的水平。我们提出将外部的 AM 整合到 E2E 系统中，以更好地解决领域不匹配问题，并取得了显著的词错误率降低，尤其在增强命名实体识别方面效果明显。

    Oct, 2023

  • 候选融合：将语言模型集成到序列到序列手写词识别结构中

    本文提出了一种新颖的候选融合方式 (Candidate Fusion)，该方法在将外部语言模型集成到序列到序列架构中的同时，提供了来自外部语言模型的建议作为序列到序列识别器的新输入。Candidate Fusion 提供了两个改进，一方面，序列到序列识别器不仅可以将自身和语言模型的信息组合，还可以选择语言模型提供的信息的重要性。另一方面，外部语言模型可以适应训练语料库甚至学习识别器产生的最常见错误。通过全面实验，Candidate Fusion 证明在手写识别任务中优于现有的最先进的语言模型。

    Dec, 2019

  • 反向语言模型的迭代浅融合用于端到端语音识别

    我们提出了一种新的浅层融合（SF）方法，利用外部的后向语言模型（BLM）来进行端到端自动语音识别（ASR）。在实验中，我们证实了浅层融合（SF）和迭代浅层融合（ISF）以及正向语言模型（FLM）之间的互补性，以及部分可识别句子感知的后向语言模型（PBLM）的应用能够提高 ASR 的性能。

    Oct, 2023

  • 序列转序列模型中更好的解码和语言模型集成

    该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

    Dec, 2016

  • 基于流式递归神经网络转录器的神经语言模型融合改进

    本文提出了一种扩展技术，使 RNN-T 能够利用外部神经网络语言模型（NNLM），从而增强了 Librispeech 上 13-18％的相对词错误率，同时保持了系统的流畅性，灵活性和轻量性。

    Oct, 2020

  • 动态融合：用于神经机器翻译的注意力语言模型

    该研究采用动态融合机制，将翻译模型和语言模型结合，提高了英日机器翻译的 BLEU 和 RIBES 得分，并允许符合适当语法结构的预测性语言建模。

    Sep, 2019