元学习为端到端低资源语音识别

Oct, 2019

Meta Learning for End-to-End Low-Resource Speech Recognition

Jui-Yang Hsu, Yuan-Jui Chen, Hung-yi Lee

TL;DR该论文介绍了一种基于元学习的低资源自动语音识别的方法，通过用多语言进行预训练并使用模型无关元学习算法（MAML）来快速适应目标语言，该方法名为 MetaASR，经过初步测试，发现该方法在各个目标语言中均显著优于现有的多任务预训练方法，而且开启了一种将元学习应用于更多语音相关应用的新研究方向。

Abstract

In this paper, we proposed to apply meta learning approach for low-resource automatic speech recognition (ASR). We formulated ASR for diff

meta learning automatic speech recognition low-resource pretraining languages model-agnostic

发现论文，激发创造

对抗性元采样用于多语言低资源语音识别

采用对抗元采样 (AMS) 方法解决多语种 meta-learning 自适应训练的任务样本多样性和数量不平衡问题，提高低资源语音识别的性能。

Dec, 2020

低资源语音识别的改进元学习

提出了一种基于元学习的新框架来改进之前的模型无关元学习（MAML）方法，该方法采用多步损失（MSL）来解决 MAML 方法的稳定性问题，其实验表明 MSL 显著提高了训练过程的稳定性和整个系统的准确性，优于各种语言的 MAML 低资源 ASR 系统的字符错误率和稳定性。

May, 2022

低资源神经机器翻译元学习

本文利用元学习算法 (MAML) 扩展低资源 NMT 问题，并通过多语言高资源任务进行学习来适应低资源语言，并利用全局词汇表解决不同语言的输入输出错配，在使用 18 种欧洲语言作为源任务和 5 种不同的语言作为目标任务的情况下，相对于基于多语言、迁移学习的方法，表明所提出的方法显著优于现有方法，并仅需少量训练示例即可获得具有竞争力的 NMT 系统。

Aug, 2018

关于幼儿语音识别任务增强的优化元初始化

本文介绍了一种用于解决儿童自动语音识别中数据稀缺问题所采用的基于元学习的模型初始化方法，首先验证了其有效性，然后通过模拟新年龄来提出了任务级别的增强方法，成功改善了学习器过拟合的问题，并达到了相对词错误率 (WER) 的提升率高达 51% 的效果

Feb, 2022

探索元学习算法在低资源自然语言理解任务中的应用

本研究探讨了基于元学习算法的模型无关元学习算法（MAML）及其变体，以解决低资源自然语言理解任务中现有方法表现不佳的问题，并在 GLUE 基准测试中验证了该方法的有效性。

Aug, 2019

面向低资源多语言语音识别的自适应激活网络

本篇论文提出了一种适应性激活网络，用于深度学习 ASR 模型的上层，并将不同的激活函数应用于不同的语言，通过交叉语言学习和多语言学习优化模型，达到了在 IARPA Babel 数据集上超越传统的基于瓶颈特征和从头训练两种方法的效果提升，结合交叉语言学习和多语言学习可以进一步提高多语言语音识别的性能。

May, 2022

Master-ASR：用模块化学习实现跨语言可扩展性和低资源适应性的自动语音识别

提出了一种名为 METHODNS 的自动语音识别框架，通过模块化的方法实现低资源适应能力和多语言可扩展性，能够显著提高多语言和低资源语音识别的性能。

Jun, 2023

低资源口语理解元辅助学习

本论文提出了一种基于元辅助学习的 ASR 和 NLU 联合训练方法，通过利用丰富的语音手动转录数据来提高低资源 SLU 任务的性能，无需访问任何语义注释，该算法的效率在公共 CATSLU 数据集上得到了证明。

Jun, 2022

多阶段多模态预训练自动语音识别

多模态预训练可以提高自动语音识别性能，尤其是结合多任务无监督预训练和基于翻译的有监督中间训练方法可以实现显著的字错误率改善。

Mar, 2024

基于元学习的依存句法快速跨语言适配

应用元学习技术，使用模型无关的元学习 (MAML) 在不同的语言上进行训练，实现快速适应新语言，有效提高了在少量数据集下，处理跨语言 NLP 问题时的效果。

Apr, 2021