ACLJun, 2021

轻量级适配器调整用于多语言语音翻译

PDF
TL;DR本文为多语言语音翻译（ST）提供了适配器的完整分析，其中适配器调整在 NLP 中作为微调的高效替代品，可使 ST 针对特定语言对进行专门优化，并从自动语音识别（ASR）任务和预先训练的 mBART 模型中进行转移，同时节省大量参数，具有与完全微调相当的可比结果。
adapter tuningnlpmultilingual speech translationautomatic speech recognitionparameter-efficient
发现论文，激发创造
  • 预训练语言模型适应的基于转换器的调整方法的有效性研究

    本文研究了基于 Adapter 的微调方法。实验证明，对于某些具有挑战性的任务，Adapter-based tuning 方法比 fine-tuning 效果更好，并且更抗过拟合和更不敏感于学习率的变化。

    Jun, 2021

  • NLP 的参数高效迁移学习

    通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

    Feb, 2019

  • 所有编程语言通用适配器？用于代码搜索和摘要的适配器调节

    本研究提出一种在多语言预训练模型中解决遗忘问题的方法 -- 使用结构适配器仅更新 0.6％的总参数进行微调，取得了代码搜索和汇总任务的最新成果，并在跨语言和低资源情景下实现了良好的性能。

    Mar, 2023

  • 神经机器翻译的简单可扩展自适应性

    本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

    Sep, 2019

  • 多语言神经机器翻译的语言家族适配器

    本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

    Sep, 2022

  • 预训练语音模型的高效适配器调优用于自动说话人验证

    通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

    Mar, 2024

  • 参数高效微调与适配器

    该研究介绍了一种新的适应方法，使用 UniPELT 框架作为基础，并添加了 PromptTuning 层，从而在保持竞争力的同时显著减少了可训练参数的数量。该方法利用适配器实现了预训练模型向新任务的有效转移，无需重新训练基础模型参数。通过对三个不同数据集进行评估，研究结果表明，该基于适配器的方法在性能上与全模型微调、DAPT+TAPT 和 UniPELT 策略相当，而需要更少或相同数量的参数。这种参数效率不仅减轻了计算负担，还加快了适应过程。该研究强调了适配器在实现高性能以及显著节约资源消耗方面的潜力，为参数高效微调的未来研究方向提供了有益的提示。

    May, 2024

  • 流式多语种 ASR 中对尾语言的高效适配器微调

    通过在流式多语种 ASR 中引入语言相关适配器（LDA）微调和基于教师伪标签技术，本研究提出的方法有效地减少了平均 12.2% 的词错误率，并在单个场景中最多降低了 37.5% 的错误率，从而显著缓解了异步峰值性能问题。

    Jan, 2024

  • 使用适配器实现跨语言稠密检索的高效零 - shot 转移

    本文研究了利用 adapters 实现单语言检索模型的跨语言迁移，证明了使用 adapters 的密集检索模型在语言迁移方面比整个模型 fine-tuning 更加有效。

    Dec, 2022

  • 适配器效率的全面分析

    通过对多个 adapter、任务和语言在有监督和跨语言零 - shot 设置中进行广泛实验，作者发现对于自然语言理解任务，adapter 的参数效率并不会转化为与全微调一样的效率优势。同时，使用多任务训练通过全微调也能达到与 adapter 相同的可维护 / 可扩展性，而且提供相对更快的训练时间。因此，作者推荐在 NLU 任务中，从业者应该依赖于全微调或多任务训练而不是使用 adapter。

    May, 2023