Nov, 2020

双解码器变压器模型实现联合自动语音识别与多语言语音翻译

HTML
PDF
TL;DR本文介绍了双解码器Transformer的新模型架构，该模型同时执行自动语音识别和多语言语音翻译。我们的模型基于原始Transformer体系结构，但由两个解码器组成，每个解码器负责一个任务（ASR或ST），并通过双关注机制相互交互。我们提出了两种不同的体系结构变体，分别对应于解码器之间的两个不同层次的依赖关系，称为并行双解码器Transformer和交叉双解码器Transformer。我们在MuST-C数据集上进行了大量实验，结果显示我们的模型在多语言设置中优于以前报道的最高翻译性能，并且也优于双语一对一结果。此外，我们的并行模型相对于香草多任务体系结构在ASR和ST之间没有权衡。
发现论文，激发创造
  • 用单个Transformer 实现多语言低资源语音端到端识别

    本文利用单个transformer模型及语言符号，针对低资源语言进行多语言语音识别，相较于SHL-MLSTM具有较高的识别精度。

    Jun, 2018

  • 基于Transformer与RNN的语音应用比较研究

    本文章研究了一种新兴的序列到序列模型——Transformer，并将它与传统RNN模型在15项ASR、1项多语言ASR、1项ST和2项TTS基准测试中进行了比较和分析，发现了各种训练技巧以及Transformer在各项任务中带来的显著性能优势，最终实验结果表明Transformer在13/15项ASR基准测试中比RNN具有惊人的优越性能。

    Sep, 2019

  • 大规模多语言自动语音识别：50种语言，1个模型，10亿参数

    本文探讨了利用单一声学模型进行多种语言训练，以提高低资源语言的自动语音识别性能，并简化支持多种语言的ASR系统的部署。作者在51种语言上进行广泛的基准测试和比较，表明与单语言训练相比，多语言训练的ASR模型可以提高识别性能，特别是对于低资源语言。与单语言基线相比，联合模型、具有语言输入的联合模型和多头模型的平均WER相对减少20.9％、23％和28.8％。据我们所知，这是第一次研究超过50种语言和超过16,000小时声音跨其的多语言ASR的大规模研究。

    Jul, 2020

  • 堆叠声学 - 文本编码：将预训练模型整合进语音翻译编码器

    本文提出了一种堆叠声音和文本编码方法（SATE），以改进现有的自动语音识别和机器翻译编码器不足，使其更适合于末端到末端的语音翻译任务。实验结果表明，我们的方法在LibriSpeech En-Fr 和 MuST-C En-De ST任务上，都获得了最新的BLEU分数。

    May, 2021

  • 自动语音识别多语言模型综述

    该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。

    Feb, 2022

  • 面向低资源语言的多语种Transformer语言模型

    通过将多个低资源语言聚集在一起来实现地区组多语言Transformer LM的最佳性能，使得Monolingual LM候选模型表现更佳且减少维护成本和运营费用。

    Sep, 2022

  • 多语言ASR的协商扩展

    本文研究了基于 Transformer 模型的多语言自动语音识别模型，提出了一种多语言的反推算法用于提高模型的识别能力，实验结果显示，相较于单语言算法，该算法的识别误差平均降低了 4%，在某些语言上甚至有 14% 的提升，且该算法可以进行并行化处理。

    Oct, 2022

  • 利用文本对齐进行联合流式自动语音识别和语音翻译的分词级被序列化输出训练

    该论文介绍了一种使用单个解码器共同生成自动语音识别和语音翻译输出的流式Transformer-Transducer，并提出了一种联合令牌级串行输出训练方法以实现有效的ASR和ST内容生成，其平均ASR延迟为1秒，ST延迟为1.3秒，在多语言情况下优化了输出质量表现。

    Jul, 2023

  • 利用时间戳信息进行序列化联合流式识别和翻译

    提出了一种流式Transformer-Transducer(T-T)模型，能够使用单个解码器联合生成多对一和一对多的转录和翻译，并引入了一种基于时间戳信息的新颖方法来有效地在流式环境中生成语音识别和语音翻译的输出。通过在{it, es, de}->en上进行的实验证明了我们方法的有效性，首次实现了使用单个解码器生成一对多联合输出。

    Oct, 2023

  • 多任务多语言语音模型的高效压缩

    在这项研究中，我们发现了Whisper这个多任务和多语言语音模型在少数语言上的性能问题，并证明这是与讲话者特征及模型相关偏差有关。针对这个问题，我们提出了DistilWhisper方法，通过轻量级的模型微调和知识蒸馏策略，在保留了多任务和多语言预训练的鲁棒性的同时，有效地提升了目标语言的ASR性能。

    May, 2024