本文章研究了一种新兴的序列到序列模型——Transformer，并将它与传统RNN模型在15项ASR、1项多语言ASR、1项ST和2项TTS基准测试中进行了比较和分析，发现了各种训练技巧以及Transformer在各项任务中带来的显著性能优势，最终实验结果表明Transformer在13/15项ASR基准测试中比RNN具有惊人的优越性能。

Sep, 2019

本研究通过探究去除特定模块的影响以及减少神经网络的数字精度的方法，成功地简化和压缩了基于Transformer编码器-解码器的端到端语音识别架构，实验结果表明，我们能够通过将数字精度减少到8位定点精度，将全精度模型的参数数量减小并将模型进一步压缩4倍，同时维持模型高精度。

Nov, 2019

通过使用自我注意力来模拟时间上下文信息，基于编码器-解码器的序列到序列模型已经在端到端自动语音识别领域取得了最先进的成果。本研究提出了一种基于Transformer的流式ASR系统，其可以在每个发音单词之后快速生成输出，因此可以应用于更广泛的ASR场景中。我们采用了一种时间限制的自注意力机制来实现流式语音序列的建模，同时通过触发式关注机制来优化编码器-解码器的关注机制。在LibriSpeech的测试数据上，我们的方案分别达到了2.8%和7.2%的词错误率，这是我们所知道的这个任务的最好的流式端到端ASR成果。

Jan, 2020

本文提出了一种基于编辑对齐的新型非自回归(NAR)自动语音识别(ASR)误差校正模型FastCorrect，其将ASR输出语句的源词元素对齐到对应的地面真值句子的目标词元素，并根据编辑距离提取出每个源词元素对应的目标词个数，用于训练长度预测器及调整源词以进行并行生成，实验证明快速校正可以大大提高ASR的纠错速度，并且相比于前人的自回归校正模型和常用NAR模型有着更好的表现。

May, 2021

该研究使用预训练序列到序列模型BART，并对其进行自适应训练来对自动语音识别中的发音和拼写错误进行纠正，并采用词级对齐的简单方法重新评分。实验结果表明，该策略在口音语音数据上有效地矫正了大量ASR错误，并在与基准系统的比较中产生了改进的WER结果。然而，在印地语语法错误纠正任务中，该模型捕捉更广泛上下文的能力受到限制。

Feb, 2022

本文在多任务学习框架下，提出了一种使用新型无配对语音数据的预训练技术 Speech2C，通过声学单元 (pseudo codes) 派生自离线聚类模型，提出两个预训练任务来训练“编码器 - 解码器”网络，其一是像 HuBERT 模型一样通过掩蔽语言模型在编码器输出中预测 pseudo codes，其二则是让解码器自回归地重构 pseudo codes。此方法能够在 LibriSpeech 语料库上相对于没有解码器预训练的方法将字词错误率 (WER) 降低 19.2%，并且在 10h 和 100h 的微调子集上显著优于最先进的 wav2vec 2.0 和 HuBERT。

Mar, 2022

本文提出了一种利用纠错操作预测的ASR错误校正方法，该方法可降低解码过程的延迟，提高推理速度并维持相同水平的准确性。

Aug, 2022

本文提出了一种基于Transformer模型和音素编码器的新型非自回归（NAR）纠错方法，该方法通过减少单词错误率（WER）来提高转录质量，并在不同的上游ASR系统中实现了鲁棒性能，特别是在GPU硬件上实现了与其他NAR模型相当的推断延迟，并且比自回归模型快4.2-6.7倍。

Feb, 2023

声助助手越来越多地使用设备上的自动语音识别（ASR）以确保速度和隐私。然而，由于设备上的资源限制，涉及复杂信息领域的查询通常需要搜索引擎进一步处理。针对这种应用，我们提出了一种新颖的基于Transformer模型的能够通过并行地探索N个最佳假设的完整上下文来重新评分和重写的模型。我们还提出了一种新的区分性序列训练目标，可在重新评分和重写任务中都能良好地工作。我们表明，我们的“重新评分+重写”模型优于仅重新评分的基准模型，并且相对于仅ASR系统本身，词错误率（WER）平均降低了高达8.6%。

Jun, 2024

本文研究了变压器在预训练语言模型（PLMs）中作为自动语音识别（ASR）编码器的有效性，填补了这一领域的研究空白。研究表明，变压器在从文本数据中提取特征的能力可以有效转化为处理语音数据，从而显著提升ASR的性能。我们的实验结果显示，在多种ASR任务中，使用预训练语言模型的变压器能显著降低字符错误率（CER）和单词错误率（WER），尤其在需要深刻语义理解的场景中效果更为显著。

Sep, 2024