低预算下的语音识别迁移学习

ACLJun, 2017

Transfer Learning for Speech Recognition on a Budget

Julius Kunze, Louis Kirsch, Ilia Kurenkov, Andreas Krug, Jens Johannsmeier...

TL;DR通过模型自适应的迁移学习方法，将原本用于英语自动语音识别的 Wav2Letter 卷积神经网络适配到德语 ASR 模型的训练中，实现了在受限 GPU 内存、吞吐量和训练数据的情况下，基于消费级硬件实现更快的训练，同时减少了训练数据量，从而降低了在其他语言中训练 ASR 模型的成本。网络层的微小调整已经足够实现较好的性能。

Abstract

End-to-end training of automated speech recognition (ASR) systems requires massive data and compute resources. We explore transfer learning based on model adaptation as an approach for training ASR models under c

automated speech recognition transfer learning model adaptation convolutional neural network german language

发现论文，激发创造

大型预训练语言模型向端到端语音识别器的知识转移

本文提出了一种方法，通过从大规模语言模型的嵌入向量获取语义知识来缓解需要耗费大量成本的转录训练的问题，并扩展了注意力机制的解码器和神经音响模式的解码器，以实现错误率的降低。

Feb, 2022

回溯重现：面向德语语音识别的层特定细调连续学习

本文探讨了使用自适应域转移技术将大规模自然语言模型应用于新领域的适应性，并使用经验回放来提高语音识别系统的鲁棒性。实验结果表明，即使只添加少量的数据集，系统的识别错误率可以降至 5％以下。

Jul, 2023

深度迁移学习用于自动语音识别：迈向更好的泛化能力

本论文通过应用深度迁移学习的自动语音识别框架对最新的发展进行综合调查研究，以帮助学术和专业人士了解当前挑战，并识别论文中每个框架的优缺点。

Apr, 2023

利用大型预训练模型实现低资源语音识别的高效使用

本研究探讨了在越南语和德语的医疗领域低资源对话电话语音语料库中使用无监督方法进行预训练，并讨论了如何适应实际的电话任务，包括带宽传输和不同的数据条件，该方法超过了基线 22% 的相对性能。

Oct, 2022

面向低资源多语言语音识别的自适应激活网络

本篇论文提出了一种适应性激活网络，用于深度学习 ASR 模型的上层，并将不同的激活函数应用于不同的语言，通过交叉语言学习和多语言学习优化模型，达到了在 IARPA Babel 数据集上超越传统的基于瓶颈特征和从头训练两种方法的效果提升，结合交叉语言学习和多语言学习可以进一步提高多语言语音识别的性能。

May, 2022

语言无关端到端自动语音识别的迁移学习与语言模型融合

本文探讨了一种更好的适应低资源语言的方法，采用外部语言模型（LM）在转移学习框架下。通过在共享词汇表的统一序列到序列（S2S）架构中构建语言无关的 ASR 系统，并在整个适应阶段将外部 LM 集成到基于注意力的 S2S 模型的解码器网络中的 LM 融合转移来有效地融合目标语言的语言上下文。作者还研究了各种用于转移学习的种子模型。实验评估使用 IARPA BABEL 数据集表明，当外部文本数据可用时，LM 融合转移比简单转移学习改善了所有五种目标语言的性能。最终系统使混合系统的性能差距大大降低。

Nov, 2018

自动语音识别多语言模型综述

该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。

Feb, 2022

从英语到更多语言：参数高效的模型重编程用于跨语言语音识别

使用神经模型重编程的参数高效学习框架，可在跨语音识别中重新利用训练良好的英文自动语音识别模型，实现大规模预训练 ASR 成功，提高了训练效率。

Jan, 2023

利用数据增强提高低资源语音识别的准确性

研究发现，利用自训练及文本转语音增广训练数据可以有效提高低资源语种的 ASR 性能，为解决数据稀缺问题提供了一种高效解决方案。

May, 2023

语音和语言处理的迁移学习

该文总结了最近关于利用深度模型在语音和语言处理中进行模型适应的一些重要研究，重点关注了利用迁移学习在跨语音和多语言任务中的表现，并展示了深度模型在跨数据分布、数据类型、模型结构和模型类型之间进行学习的潜力。

Nov, 2015