本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率（WER），特别是，深度 LLM-fusion 具有更好的实体召回和词汇外单词的召回优势。

Jun, 2023

本文研究了在机器翻译领域中适配器的组成方法，旨在实现多领域和多语言（全资源场景）的参数效率适配，或在无法提供特定语言对的平行数据（部分资源场景）中的跨语言转移。适配器通常由语言特定的适配器和领域特定的适配器组成，但这篇论文发现了将两种适配器简单组合的方法往往会造成缺失语言的灾难性遗忘，因此提出了新的适配器组合方式以减轻这一问题，并最大程度地实现跨语言转移。通过此种最佳适配器组合方式，我们实现了在没有场内数据的源语言上平均提高 3-4BLEU，而在没有场内数据的目标语言上与反向翻译相结合也达到了类似的改进。

Oct, 2021

提出了一种新的自适应 ASR 模型到新目标领域的策略，其中使用大型语言模型生成目标领域文本语料库，并使用最先进的可控语音合成模型生成相应的语音，通过在上下文中进行指令微调以提高大型语言模型生成新领域文本语料库的效果，实验证明该方法在未知目标领域上能达到平均相对词错误率提高 28%，且源领域性能无降低。

Sep, 2023

本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

Jun, 2023

通过在流式多语种 ASR 中引入语言相关适配器（LDA）微调和基于教师伪标签技术，本研究提出的方法有效地减少了平均 12.2% 的词错误率，并在单个场景中最多降低了 37.5% 的错误率，从而显著缓解了异步峰值性能问题。

Jan, 2024

本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

Dec, 2021

本文提出了一种名为模块化域自适应的框架，通过向 Conformer 编码器中添加适合各个域的适配器和前馈网络，使单个 Conformer transducer 模型能够处理各个领域的语音数据，从而大幅提升了语音识别的性能。

May, 2023

本文提出了一种基于内部语言模型估计的自适应领域适应方法，通过最大化内部和外部语言模型 (ELM) 的分数的插值对数似然分数来实现 ILME-ADA，该方法在 RNN-T 和 LAS 模型框架下使用神经网络和 n-gram 语言模型作为 ELM，在两个特定领域 (目标) 测试集上表现显著优于浅层和基于 ILME 的 LM 融合方法，且在一般测试集上性能下降最小。

Nov, 2022

本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

Sep, 2019

本文提出了一个基于预训练模型的语言通用适配器学习框架，用于端到端的多语言自动语音识别。通过插入特定于语言和语言通用适配器来微调 Wav2Vec 2.0 预训练模型，然后使用在线知识蒸馏来使语言通用适配器学习特定于语言和通用特征，通过利用语言识别器（LID）降低语言信息混淆，进而改善识别准确率，并解决通用多语种 ASR 系统中适配器参数数量随语言数量线性增长的问题，BABEL 数据集上的实验结果验证了所提出框架的有效性，并相比传统的多语种模型取得了 3.3％的绝对误差率的降低。

Feb, 2023