Sep, 2024

预训练语言模型中的变压器作为自动语音识别编码器的有效性研究

HTML
PDF
TL;DR本文研究了变压器在预训练语言模型（PLMs）中作为自动语音识别（ASR）编码器的有效性，填补了这一领域的研究空白。研究表明，变压器在从文本数据中提取特征的能力可以有效转化为处理语音数据，从而显著提升ASR的性能。我们的实验结果显示，在多种ASR任务中，使用预训练语言模型的变压器能显著降低字符错误率（CER）和单词错误率（WER），尤其在需要深刻语义理解的场景中效果更为显著。
发现论文，激发创造
  • 基于Transformer序列到序列模型的自动语音识别纠错

    本文介绍了一种用于自动语音识别（ASR）的简单而有效的后处理模型。我们的模型使用基于Transformer的编码器-解码器架构，将ASR模型输出“翻译”成语法和语义正确的文本。作者探讨了不同的规范化和优化策略，并表明需要广泛的数据增强和预训练权重的初始化才能实现良好的性能。在LibriSpeech基准测试中，我们的方法在词错误率上表现优异，尤其是在更嘈杂的dev-other和test-other部分的评估数据集上。我们的模型还通过6-gram语言模型重新评分超过了基础模型，并接近于使用Transformer-XL神经语言模型重新评分的性能。

    Oct, 2019

  • 低资源语音识别预训练的分析

    本文探讨了如何提高低资源语言的自动语音翻译质量，研究表明在高资源语言上训练端到端自动语音识别模型可以有效提高自动语音译文质量，作者发现最终自动语音译文质量的最佳预测因素是预训练的ASR模型的词错误率，并且研究发现预训练和数据增强对AST翻译质量的提高是互补的。

    Oct, 2019

  • N-Best ASR Transformer: 使用多个ASR假设提高SLU性能

    使用自动语音识别提供的多个文本替代方案，采用简化的表述方式，通过 transformer 模型 BERT 和 XLM-RoBERTa 对 N-best 替代方案的连接作为输人，提高了 Spoken Language Understanding 系统的性能。

    Jun, 2021

  • 使用统一的语音与文本编码器-解码器来改善ASR

    本研究利用外部文本数据提高自动语音识别的性能，探讨了一种方法，在共享解码器和编码器部分的集合中，联合训练自动语音识别和掩码语言模型。经实验验证，该方法在测试中取得了非常好的效果，耗时不增加。

    Feb, 2022

  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进SSL-based预训练模型的泛化性能提供指导。

    Mar, 2022

  • 探究用于端到端语音识别的统计表示

    分析了transformer架构中跨域语言模型依赖关系的研究，使用SVCCA发现转换器层中的特定神经表示具有相关行为，并影响识别性能。这项工作提供了有关模型方法的分析，这些模型方法影响了环境依赖关系和ASR性能，可以用于创建或调整性能更好的End-to-End ASR模型和下游任务。

    Nov, 2022

  • 利用支持性文本数据启动有限转录的自动语音识别系统开发

    本文研究发现，使用不同数量的文本数据进行训练和 fine-tune transformer model 可以降低自动语音识别（ASR）的 word error rate，其中 lexicon 对于改善 ASR 性能没有多大作用，而使用必要量的文本数据可以通过利用自然语言处理技术使自动语音识别接近人类的水平。

    Feb, 2023

  • PATCorrect：非自回归音素增强Transformer用于ASR误差校正

    本文提出了一种基于Transformer模型和音素编码器的新型非自回归（NAR）纠错方法，该方法通过减少单词错误率（WER）来提高转录质量，并在不同的上游ASR系统中实现了鲁棒性能，特别是在GPU硬件上实现了与其他NAR模型相当的推断延迟，并且比自回归模型快4.2-6.7倍。

    Feb, 2023

  • 基于公共语音识别语料训练的仅解码器模型的极限探索

    本文研究了使用公共英语ASR语料库训练仅解码器模型（DOTA）相比于基于编码器-解码器的开源复制模型（OWSM）和Whisper的大型语言模型（Whisper large-v3），在几乎所有英语ASR基准测试集上取得更好的性能，并在15个测试集中的7个上超过了Whisper。我们在宽松许可下发布了我们的代码库和模型检查点。

    Jan, 2024

  • 利用LLM生成的上下文描述改善特定领域的自动语音识别

    本研究针对现有端到端自动语音识别系统在识别特定领域词汇（如专有名词和技术术语）方面的不足，提出了一种利用最新的Whisper模型，并结合描述生成和解码器微调等新颖训练方法的改进方法。实验证明，这种方法显著提高了特定领域ASR的准确性，且LLM生成的描述在有效性上优于人工撰写的描述。

    Jul, 2024