- 面向异构通信的联邦低秩自适应
通过提出一种新的基于复制的填充策略来解决传统的联邦低秩适应方法中的稳定性问题，以实现在联邦细调过程中更好地利用高质量数据集，加速收敛速度并提高全局模型的预测质量。
- 用于可上传机器学习的检索增强的混合 LoRA 专家
Retrieval-Augmented Mixture of LoRA Experts (RAMoLE) is a framework that adaptively retrieves and composes multiple LoRA - FLoCoRA：具有低秩适应性的联邦学习压缩
在此研究中，我们展示了 Low-Rank Adaptation 方法在从头开始训练小尺寸视觉模型的联邦学习中的应用，通过提出一种聚合不可知方法 FLoCoRA，我们证明该方法能够减少通信成本 4.8 倍，并且对于具有 ResNet-8 模型 - 贝叶斯 - LoRA：使用最佳量化水平和等级值通过可微分贝叶斯门进行参数高效微调的基于 LoRA 的方法
在这项研究中，我们提出了一种基于贝叶斯角度的矩阵分解和量化方法，名为 B-LoRA，通过对学习到的低秩矩阵的量化级别和秩值引入先验分布，使其能够在特定任务上对预训练模型进行精细调节，找到每个低秩矩阵的最佳秩值和量化级别。通过在 GLUE 基 - LaMDA：通过频谱分解的低维度调整进行大模型微调
通过光谱分解低维适应性的大型模型微调，LaMDA 可以在减少可训练参数和峰值 GPU 内存使用的同时，达到与现有替代方案相当甚至更好的性能。
- 低秩适应中的子空间混合
本文介绍了一种基于子空间的低秩适应方法（LoRA），该方法在计算效率、实施简易性和适用性方面具有优势，可广泛应用于大型语言、多模态和扩散模型；通过子空间的微观视角，我们发现混合两个子空间可以提升性能，并通过与原始 LoRA 权重共同学习混合 - 学习适应基础模型 DINOv2 以应用于胶囊内窥镜诊断
我们介绍了一种名为低秩适应（LoRA）技术的简化方法，用于将基础模型进行自定义，通过将低秩适应学习应用于胶囊内窥镜诊断，取得了令人印象深刻的结果。
- FouRA: 傅里叶低秩适应
FouRA 是一种新颖的低秩方法，通过学习傅里叶域的投影以及灵活的基于输入的适配器秩选择策略，成功解决了数据复制和分布坍塌问题，并显著提高了生成图像的质量。
- 多语种 ASR 中新语种整合的低秩自适应双通道模型
通过采用双流水线及低秩适应的方法，该研究应对多语言预训练自动语音识别系统中将新语言整合进去的挑战，减少既有语言性能的降低，并实现了一种与语言无关的操作模式。
- CVPR适配器反击
适配器提供了一个高效轻量级的机制，可以将训练好的变换器模型适应不同的任务。本文对适配器进行了深入研究，包括其内部结构和各种实现选择，并提出了一种改进的适配器架构，称为 Adapter+，它不仅优于之前的适配器实现，还在一些具有挑战性的场景中 - 基于视图迭代自注意力控制的无调整视觉定制化
本文提出了 View Iterative Self-Attention Control (VisCtrl) 作为一种无需进行模型微调的训练方法，通过逐步将参考图像的特征嵌入目标图像，实现了一次去噪便能实现一张参考图像的一致和谐编辑，而且该方 - 带有稀疏通信的联合 LoRA
在联邦学习中，通过应用稀疏性来提高 Low-rank adaptation (LoRA) 的通信效率，而不影响其性能，并且相对于现有方法具有更好的异质性和隐私保护。
- 基于 Transformer 模型的低秩自适应 (LoRA) 的计算限制
通过在梯度计算中寻找低秩分解，我们研究了基于变换器模型的低秩适应（LoRA）更新的计算极限，证明了算法加速的可能性，并通过控制 LoRA 更新的计算项，基于 Strong Exponential Time Hypothesis (SETH) - OLoRA: 正交低秩对大型语言模型的适应
OLoRA 是对 LoRA 方法的增强，利用 QR 分解通过正交矩阵初始化来加速 LLM 训练的收敛速度，同时保留 LoRA 的高效特性，例如可训练参数数量和 GPU 内存占用，实证评估结果显示，OLoRA 不仅收敛更快，而且在各种语言建模 - MLAE: 参数高效微调的屏蔽 LoRA 专家
提出了一种名为 Masked LoRA Experts (MLAE) 的创新方法，通过参数高效微调、低秩矩阵的独立性增强和选择性激活等策略，以提高模型性能和知识多样性，从而实现了在 VTAB-1k 和 FGVC 基准测试上的最佳性能。
- 预训练模型中逐步低秩更新中遗忘的实证分析
本文研究了使用低秩适应（LoRA）将预训练模型与现有权重进行合并的设置，并探讨了 LoRA 秩对预训练任务和后续任务的遗忘、可塑性的重要影响，发现视觉变压器在这种方式下表现出一种 “上下文” 遗忘的行为，这是之前的连续学习研究中尚未观察到的 - ACLIAPT：面向大型语言模型的指令感知提示调整
我们提出了一种新的提示调整方法，Instruction-Aware Prompt Tuning (IAPT)，该方法只需要四个软标记，并且在具有可调参数的情况下优于最近的基准方法，并比低秩适应性 (LoRA) 在单主干多租户设置下更高效。
- 关于大型模型的低秩适应的公平性
通过对视觉和语言领域的分类和生成任务进行广泛实验，我们发现低秩适应（LoRA）在许多情况下具有与基准模型或其完整微调基准相当甚至更好的公平性，但也引发了适当任务设计和模型成员偏差评估等公平性评估方面的复杂性。
- ACLDoRA: 通过动态排名分布增强参数效率微调
本研究介绍了动态低秩适应（DoRA）方法，该方法在训练过程中将高秩的低秩层分解为结构化的单秩元件，允许根据任务重要性动态修剪参数预算，以充分利用有限的参数预算，并且实验证明 DoRA 方法在与 LoRA 和完全模型微调相比具有竞争性的性能和 - 通过豪斯荷尔德反射自适应缩小低秩与正交适应之间的差距
基于 Householder 反射的正交微调方法在适应大规模预训练模型方面表现出优越的性能，具有更少的可学习参数。