面向任务无关的低秩适配器用于未见过的英语方言

EMNLPNov, 2023

面向任务无关的低秩适配器用于未见过的英语方言

Task-Agnostic Low-Rank Adapters for Unseen English Dialects

Zedian Xiao, William Held, Yanchen Liu, Diyi Yang

TL;DR通过利用专家语言知识，我们的方法 HyperLoRA 可以通过超网络实现资源高效的适应，从而提高对未知方言的泛化能力，为数十亿传统上代表性不足的英语方言使用者提供语言技术的便利访问。

Abstract

large language models (LLMs) are trained on corpora disproportionally weighted in favor of Standard American English. As a result, speakers of other dialects experience significantly more failures when interacting with these technologies. In practice, these speakers often accommodate t

large language models diversity in english dialects hyperlora generalization to unseen dialects access to language technology

发现论文，激发创造

解码低秩适配器中的全球协同效应

我们介绍了 HeteroLoRA，这是一种轻量级的搜索算法，通过利用零成本代理在模型中分配有限的 LoRA 可训练参数，以提高微调性能，并在更具挑战性的搜索空间中展示了 HeteroLoRA 的有效性。

Jun, 2024

关于 LoRA 的注释

LoRA 是一种高效适应大型语言模型 (LLM) 的首选方法，具有显著的简洁性和有效性，本文提供了对原始 LoRA 论文的补充视角，并为大规模部署 LoRA 提供了一系列的见解，以改善对 LoRA 的理解和应用。

Apr, 2024

语音识别中语言建模的低秩适应的训练策略和模型鲁棒性研究探究

使用低秩适应（LoRA）和预训练语言模型（PLMs）的方法已成为一种流行的资源高效性建模方法，本研究首先探讨了通过引入各种 LoRA 培训策略来提高模型性能，相对词错误率减少了 3.50％和 3.67％，并且进一步检验了 LoRA 基于二次通过语音识别模型的稳定性和对输入扰动的鲁棒性。

Jan, 2024

TADA: 英语任务不可知的方言适配器

文中提出了一种无需特定任务监督的任务不可知方言适应方法，通过使用不同方言的适配器并将其与标准美式英语方言的特定任务适配器结合，该方法可以提高方言的鲁棒性，并在 GLUE 基准测试的 4 种方言版本上取得了良好效果。

May, 2023

跨口音语音识别上的快速适应学习

研究了方言对同一语言单词发音的影响，提出了一种基于模型对抗元学习算法的跨方言英语语音识别任务，通过实验表明该方法显著优于联合训练。

Mar, 2020

X-LoRA：低秩适配器专家的混合，用于蛋白质力学和设计中的大型语言模型的灵活框架

基于 LoRA 适应性技术的深层令牌级方法，应用于大型语言模型，通过隐藏状态动态混合适应层，实现不同能力的组合，适用于各种现有的大型语言模型，主要聚焦于生物材料分析和蛋白质力学设计。

Feb, 2024

OLoRA: 正交低秩对大型语言模型的适应

OLoRA 是对 LoRA 方法的增强，利用 QR 分解通过正交矩阵初始化来加速 LLM 训练的收敛速度，同时保留 LoRA 的高效特性，例如可训练参数数量和 GPU 内存占用，实证评估结果显示，OLoRA 不仅收敛更快，而且在各种语言建模任务上表现出更好的性能，为 LLM 的精细调整提供了更高效和可访问性的可能，从而促进自然语言应用的广泛采用和创新。

Jun, 2024

LoRA 适配器的令牌级适应性对下游任务的概括

该论文介绍了一种方法，用于将 LoRA 适配器适应于任意下游任务的小型语言模型。与标准的专家混合结构不同，我们的方法使用无梯度路由函数来选择加权组合的专家，而不会增加训练或推断的计算要求。结果表明，LoRA 适配器的标记级适应性在数学（GSM8K）、科学（ARC-Challenge）、阅读理解（SQuAD）和编码（CodeAlpaca-20k）任务中优于基础的 Llama-2-7b 模型。进一步评估还表明，标记级适应性的平均性能优于为每个任务微调的单个模型，推断过程中每隔一个标记适应性的表现最佳。本研究的代码通过公共代码库提供。

Nov, 2023

LoRA-Whisper: 参数高效且可扩展的多语言语音识别

本文提出了 LoRA-Whisper 模型，通过将 LoRA 矩阵融入 Whisper，有效减轻多语种自动语音识别中的语言干扰，并通过利用 LoRA 和语言之间的相似性，在新语种上取得更好的性能，同时保持原有语种的稳定性。在涉及八种语言的真实任务实验中，我们的提出的 LoRA-Whisper 相对于基准系统分别在多语种自动语音识别和语言扩展方面获得了 18.5% 和 23.0% 的相对增益。

Jun, 2024

QA-LoRA：大型语言模型的量化感知低秩适应

我们提出了一种量化感知的低秩自适应算法（QA-LoRA），通过使用分组运算符，增加量化的自由度，减少自适应的自由度，将大型语言模型（LLMs）权重量化以减少时间和内存使用，并将 LLM 和辅助权重自然地集成到一个量化模型中，而不损失准确性。我们应用 QA-LoRA 算法于 LLaMA 和 LLaMA2 模型系列，并在不同的微调数据集和下游场景中验证了其有效性。

Sep, 2023