语音和语言处理的迁移学习

Nov, 2015

Transfer Learning for Speech and Language Processing

Dong Wang, Thomas Fang Zheng

TL;DR该文总结了最近关于利用深度模型在语音和语言处理中进行模型适应的一些重要研究，重点关注了利用迁移学习在跨语音和多语言任务中的表现，并展示了深度模型在跨数据分布、数据类型、模型结构和模型类型之间进行学习的潜力。

Abstract

transfer learning is a vital technique that generalizes models trained for one setting or task to other settings or tasks. For example in speech recognition, an acoustic model trained for one language can be used to recognize speech in another language, with little or no re-training da

transfer learning deep models speech recognition model adaptation language processing

发现论文，激发创造

自然语言处理中的迁移学习综述

本次调查主要介绍自然语言处理领域中最近迁移学习的发展和不同的迁移学习方法分类的分类学。

May, 2020

多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

Jul, 2022

探索和预测 NLP 任务的可转移性

本文旨在探究将自然语言处理大规模语言模型 fine-tuning 应用于其他任务是否有效，通过在三大问题领域（文本分类、问题回答、序列标注）的 33 个 NLP 任务上的数据验证，结果显示 transfer learning 在数据稀缺情况下更为有效，在源任务数据较少或与目标任务差异较大的情况下仍能提高性能，同时提出了可以预测给定目标任务最具可转移性源任务的任务嵌入，并验证其在数据大小、源和目标之间的有效性。最终的结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。

May, 2020

如何以迁移学习方式进行迁移

本文探讨了深度学习中的迁移学习的效果与代价，结果提供了关于使用迁移学习的指南。

Nov, 2022

深度迁移学习用于自动语音识别：迈向更好的泛化能力

本论文通过应用深度迁移学习的自动语音识别框架对最新的发展进行综合调查研究，以帮助学术和专业人士了解当前挑战，并识别论文中每个框架的优缺点。

Apr, 2023

低预算下的语音识别迁移学习

通过模型自适应的迁移学习方法，将原本用于英语自动语音识别的 Wav2Letter 卷积神经网络适配到德语 ASR 模型的训练中，实现了在受限 GPU 内存、吞吐量和训练数据的情况下，基于消费级硬件实现更快的训练，同时减少了训练数据量，从而降低了在其他语言中训练 ASR 模型的成本。网络层的微小调整已经足够实现较好的性能。

Jun, 2017

神经网络在自然语言处理应用中的迁移能力如何？

本文通过系统案例研究，提供了关于神经网络在自然语言处理中的可迁移性的阐明图片。

Mar, 2016

跨语言学习中的转移语言选择

该论文探讨了如何自动选择最佳转移语言作为排名问题，建立模型考虑诸如语言相似性，类型学特性，词汇重叠或可用数据大小等因素以执行这种预测。在代表性 NLP 任务的实验中，我们证明了我们的模型比单一特征的单独考虑的基准线更好地预测良好的转移语言，并了解了哪些特征对每种不同的 NLP 任务是最有信息量的，这可能会为未来的专家选择提供帮助。

May, 2019

多源跨语言模型迁移：学习共享的内容

利用生成对抗网络和无监督多语言嵌入，结合多源语言训练数据的多语言转移学习方法，在多语言文本分类和序列标记任务中实现 target 语言的显著性能提升。

Oct, 2018

学习什么和在哪里转移

本研究提出了一种基于元学习的转移学习方法，可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置，该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。

May, 2019