本文提出了 LoRA-Whisper 模型，通过将 LoRA 矩阵融入 Whisper，有效减轻多语种自动语音识别中的语言干扰，并通过利用 LoRA 和语言之间的相似性，在新语种上取得更好的性能，同时保持原有语种的稳定性。在涉及八种语言的真实任务实验中，我们的提出的 LoRA-Whisper 相对于基准系统分别在多语种自动语音识别和语言扩展方面获得了 18.5% 和 23.0% 的相对增益。

Jun, 2024

提出了一种基于低秩适应（LoRA）的神经语言建模系统，用于语音识别输出的再评分。通过低秩分解的方法，使用仅占预训练参数 0.08% 的插入矩阵进行训练和领域适应，实现了 Rescore-BERT（LoRB）架构，并在 LibriSpeech 和内部数据集上减少了 5.4 至 3.6 倍的训练时间。

Sep, 2023

使用低秩适应（LoRA）和预训练语言模型（PLMs）的方法已成为一种流行的资源高效性建模方法，本研究首先探讨了通过引入各种 LoRA 培训策略来提高模型性能，相对词错误率减少了 3.50％和 3.67％，并且进一步检验了 LoRA 基于二次通过语音识别模型的稳定性和对输入扰动的鲁棒性。

Jan, 2024

本文提出了一种低秩适应方法（Low-Rank Adaptation，简称 LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和 GPU 内存占用过高的问题。

Jun, 2021

本研究通过使用 Parameter-Efficient Fine-Tuning 中的 Low-Rank Adaptation (LoRA) 探索了复杂且未被充分研究的多语言摘要任务的潜力，研究发现 LoRA 在低数据情况和跨语言转移中表现出色，当模型增大时，LoRA 和完全微调之间的性能差距减小，同时，继续训练 LoRA 获得了最佳的少样本跨语言转移表现。

Nov, 2023

我们提出了通过将 LoRA 整合到已有的自我监督模型中，实现新语言的自适应，并通过数据结合和重新聚类等保护策略来保持对已有和新语言的性能保持完整，实验证明该方法使 mHuBERT 应用于新语言（普通话）的 MOS 值增加 1.6，WER 相对值减少了 61.72%。

Jun, 2024

通过 AB-LoRA 方法，逐步修剪过多和负面影响的 LoRA 排名，并将修剪后的 LoRA 预算分配给需要更高排名的重要 Transformer 模块，实现了分配低秩适应 (ALoRA) 的灵活下游任务适应方法。实验结果表明，ALoRA 方法在可调参数相当的情况下优于最近的基准模型。

Mar, 2024

通过利用专家语言知识，我们的方法 HyperLoRA 可以通过超网络实现资源高效的适应，从而提高对未知方言的泛化能力，为数十亿传统上代表性不足的英语方言使用者提供语言技术的便利访问。

Nov, 2023

本文介绍了我们在 ICASSP Signal Processing Grand Challenge 2023 的 Spoken Language Understanding Grand Challenge 中低资源领域适应赛道（Track 3）中的系统，其中我们采用 ASR 和 NLU 的流水线方法。我们在每个领域上利用 upampling 对 Whisper 进行微调来进行 ASR。对于 NLU，我们在所有 Track3 数据上进行了 BART 的微调，然后在低资源领域的数据上进行了微调。我们应用了基于 MLM 的遮蔽 LM（MLM）-based 数据增强，并采用了基于检索的方法。通过以上方法，我们在 reminder/weather 领域实现了精确匹配（EM）准确率 63.3/75.0（平均：69.15），并在挑战中获得了第一名。

May, 2023

提出了一种名为 METHODNS 的自动语音识别框架，通过模块化的方法实现低资源适应能力和多语言可扩展性，能够显著提高多语言和低资源语音识别的性能。

Jun, 2023