深度迁移学习用于自动语音识别：迈向更好的泛化能力

Apr, 2023

深度迁移学习用于自动语音识别：迈向更好的泛化能力

Deep Transfer Learning for Automatic Speech Recognition: Towards Better Generalization

Hamza Kheddar, Yassine Himeur, Somaya Al-Maadeed, Abbes Amira, Faycal Bensaali

TL;DR本论文通过应用深度迁移学习的自动语音识别框架对最新的发展进行综合调查研究，以帮助学术和专业人士了解当前挑战，并识别论文中每个框架的优缺点。

Abstract

automatic speech recognition (ASR) has recently become an important challenge when using deep learning (DL). It requires large-scale training datasets and high computational and storage resources. Moreover, DL techniques and machine learning (ML) approaches in general, hypothesize that

automatic speech recognition deep transfer learning asr frameworks machine learning data distribution

发现论文，激发创造

基于先进深度学习方法的自动语音识别：一项调查

深度学习在自动语音识别方面的应用以及与其他先进的学习技术的综合回顾，旨在帮助研究人员和专业人员了解当前的挑战和未来的研究机会。

Mar, 2024

低预算下的语音识别迁移学习

通过模型自适应的迁移学习方法，将原本用于英语自动语音识别的 Wav2Letter 卷积神经网络适配到德语 ASR 模型的训练中，实现了在受限 GPU 内存、吞吐量和训练数据的情况下，基于消费级硬件实现更快的训练，同时减少了训练数据量，从而降低了在其他语言中训练 ASR 模型的成本。网络层的微小调整已经足够实现较好的性能。

Jun, 2017

深度相互学习的端到端自动语音识别

本论文首次将深度相互学习（DML）应用于端到端自动语音识别模型，通过与标签平滑、定量采样和音频增强等近期代表性训练技术相结合，提高了大规模建模和紧凑建模的日语语音识别任务的性能表现。

Feb, 2021

面向特定领域语音识别的深度学习系统

使用预训练的 DeepSpeech2 和 Wav2Vec2 声学模型，提出了基于领域的语音自动识别系统，并通过半监督机器注释的方式收集领域特定的数据，研究结果表明，该系统即使在具有更高的字词错误率的情况下，性能仍优于商业自动语音识别系统，且在人工转录的结果上也呈现出类似的效果。同时，也探讨了使用自动语音识别文字转录来辅助口语理解的可行性。

Mar, 2023

演讲处理中的深度表示学习：挑战、最新进展和未来趋势

本文介绍了语音表征学习的不同技术的最新综述，将分散的研究汇集到了自动语音识别、说话人识别和说话人情感识别三个研究领域中，并弥补了以前综述中没有涉及语音表征学习的空白。

Jan, 2020

深度迁移学习与最近进展综述

该论文介绍了深度迁移学习的定义和分类方式，探讨了近五年来应用的技术，并研究了实验分析结果，讨论了深度迁移学习方法的限制以及对应的解决方案和研究趋势。其中包括在 Covid-19 检测和边缘设备上应用深度迁移学习可以降低训练成本和增加精度的优势。

Jan, 2022

语音和语言处理的迁移学习

该文总结了最近关于利用深度模型在语音和语言处理中进行模型适应的一些重要研究，重点关注了利用迁移学习在跨语音和多语言任务中的表现，并展示了深度模型在跨数据分布、数据类型、模型结构和模型类型之间进行学习的潜力。

Nov, 2015

自然语音识别可视化 —— 提高理解的方法？

本文介绍了如何使用图像识别中的归因方法，结合音频数据，帮助可视化深度神经网络自动语音识别模型中输入的哪些特征对输出结果影响最大。通过比较 Layer-wise Relevance Propagation（LRP）、Saliency Maps 和 Shapley Additive Explanations（SHAP）这三种可视化技术，展示了归因方法的优势和应用前景，包括在检测对抗性样本方面。

Feb, 2022

使用合成数据的端到端自适应语音识别系统的简单基线

本文提出了一种简单的基线技术，使用单个扬声器的 TTS 引擎将纯文本语料库转换为音频数据，并使用目标域中的并行数据对通用 ASR 模型的最终密集层进行微调，结果表明，单个发声者 TTS 数据与仅微调最终密集层的结合可合理提高单词错误率.

Jun, 2022

大型预训练语言模型向端到端语音识别器的知识转移

本文提出了一种方法，通过从大规模语言模型的嵌入向量获取语义知识来缓解需要耗费大量成本的转录训练的问题，并扩展了注意力机制的解码器和神经音响模式的解码器，以实现错误率的降低。

Feb, 2022