本研究研究了基于注意力机制的序列到序列模型中对于浅层融合仿照外部语言模型在多种语言模型、不同的解码单元和不同任务下的一系列行为。在 Google 语音搜索中，我们证明使用基于字单位的神经语言模型和浅层融合可以相对于具有竞争力的注意力机制序列到序列模型将单词错误率降低了 9.1%，避免了需要进行第二遍 rescoring 操作。

Dec, 2017

本文提出了一种新颖的候选融合方式 (Candidate Fusion)，该方法在将外部语言模型集成到序列到序列架构中的同时，提供了来自外部语言模型的建议作为序列到序列识别器的新输入。Candidate Fusion 提供了两个改进，一方面，序列到序列识别器不仅可以将自身和语言模型的信息组合，还可以选择语言模型提供的信息的重要性。另一方面，外部语言模型可以适应训练语料库甚至学习识别器产生的最常见错误。通过全面实验，Candidate Fusion 证明在手写识别任务中优于现有的最先进的语言模型。

Dec, 2019

本文探讨了一种更好的适应低资源语言的方法，采用外部语言模型（LM）在转移学习框架下。通过在共享词汇表的统一序列到序列（S2S）架构中构建语言无关的 ASR 系统，并在整个适应阶段将外部 LM 集成到基于注意力的 S2S 模型的解码器网络中的 LM 融合转移来有效地融合目标语言的语言上下文。作者还研究了各种用于转移学习的种子模型。实验评估使用 IARPA BABEL 数据集表明，当外部文本数据可用时，LM 融合转移比简单转移学习改善了所有五种目标语言的性能。最终系统使混合系统的性能差距大大降低。

Nov, 2018

我们提出一种递归编码器 - 解码器深度神经网络架构，直接将一种语言中的语音转换为另一种语言中的文本，通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。

Mar, 2017

该研究提出了一种新方法以训练拼写纠错模型来纠正注意力机制序列到序列语音识别模型中的错误，从而改进了性能。在 LibriSpeech 数据集上，该模型相对于基线模型的相对改进为 18.6％，相对于使用扩展语言模型重新评分的 n-best 列表的改进为 29.0％。

Feb, 2019

本文提出使用多语言数据建立先前模型，结合迁移学习的方法，通过在 10 个 BABEL 语言中训练 seq2seq 模型来改进音频识别，同时在解码时加入循环神经网络语言模型 (RNNLM) 来进一步提高模型的表现，实验结果表明，将先前的多语言模型应用于 4 种其他 BABEL 语言可以有效提高识别的准确度，并且加入 RNNLM 辅助也可以带来显著的性能提升。

Oct, 2018

通过使用中间层和最终层，本研究提出了一种将 BERT 教师模型的知识蒸馏到自动语音识别模型中的新方法。实验证明，使用中间层作为蒸馏目标可以更有效地将语言模型知识蒸馏到较低的网络层，从而实现比外部语言模型的浅层融合更好的识别准确性，同时保持了快速并行解码。

Jan, 2024

该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

Dec, 2016

本文提出了一种基于知识蒸馏的方法来提高端到端语音翻译 (ST) 模型的性能，通过从文本翻译模型中转移知识来训练 ST 模型。在英法增广 LibriSpeech 和英汉 TED 语料库上的实验结果表明，使用该方法可以对相似和不相似的语言对进行端到端 ST 实现，并且在老师模型的指导下，端到端 ST 模型可以取得 3.5 个 BLEU 分数的显着提升。

Apr, 2019

本文提出了一种方法，通过从大规模语言模型的嵌入向量获取语义知识来缓解需要耗费大量成本的转录训练的问题，并扩展了注意力机制的解码器和神经音响模式的解码器，以实现错误率的降低。

Feb, 2022