- 图像生成的多 LoRA 组合
通过解码为中心的视角，本研究提出了两种无需训练的方法：LoRA Switch 和 LoRA Composite，分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA，以更好地指导图像合成，从而提高了综合性能，在组合中增加 - LoRA 遇见 Dropout: 一个统一框架下的研究
基于对参数高效 LoRA 的研究，我们重新审视了特定于 Transformer 的 Dropout 方法的数学和经验上的等价性和区别，并基于此提出了一个统一的框架，揭示了当涉及到有限可训练参数时它们的新偏好和性能比较。这个框架还允许我们将最 - LoRA+：大型模型的高效低秩自适应
通过设置适当的比率为 LoRA 适配器矩阵 A 和 B 设置不同的学习率，我们提出了一种名为 LoRA$+$ 的算法，解决了 LoRA 的次优问题同时提高了性能（1-2％改进）和微调速度（最高约 2 倍速度提升）的问题。
- LoraRetriever: 面向混合任务的输入感知 LoRA 检索与组合
LoraRetriever 是一个检索后合成的框架，根据输入提示自适应地检索和组合多个 LoRA，实验结果表明 LoraRetriever 始终优于基线模型，突出了其实际效果和通用性。
- DoRA：权重分解低秩适应
通过权重分解分析和 LoRA 方法的聚焦更新，DoRA 方法在保持低成本细调的基础上增强了学习能力和训练稳定性，对各种常识推理、视觉指导调整和图像 / 视频 - 文本理解等不同下游任务，超越了 LoRA 方法。
- 基于输出评估的高效 LoRA 参数剪枝技术
通过分析 LoRA 的输出来评估参数的重要性，我们提出了 LoRA-drop 方法，对于重要层保留原有参数，而对其他层则共享同一组参数。大量的 NLU 和 NLG 任务实验证明了 LoRA-drop 的有效性。
- X-LoRA：低秩适配器专家的混合，用于蛋白质力学和设计中的大型语言模型的灵活框架
基于 LoRA 适应性技术的深层令牌级方法，应用于大型语言模型，通过隐藏状态动态混合适应层，实现不同能力的组合，适用于各种现有的大型语言模型，主要聚焦于生物材料分析和蛋白质力学设计。
- 用规范示例进行模型编辑
我们引入了模型编辑与规范实例，该设置中每个期望行为仅提供一个学习实例，并且仅在分布之外进行评估，在严格限制对初始模型的偏离下。
- LoTR：低张量秩权重适应
本文提出了一种新颖的参数高效微调方法 LoTR，通过张量分解的形式对参数进行梯度更新，进而构建每层的低秩适配器。LoTR 在低秩张量表示下对一系列层进行压缩，尤其适用于深度模型，相比于 LoRA 具有更好的参数效率，且核心张量不依赖于原始权 - StyleInject：文本到图像扩散模型的参数高效调优
通过引入 StyleInject，一种针对文本到图像模型的特殊微调方法，以对抗传统的 LoRA 方法在图像生成方面的不足，我们能够显著减小对原始模型的文本 - 图像对齐能力的影响，同时能够在转移学习中灵活地适应不同风格，通过大量实验证明 S - 基于即插即用变压器单元的无监督测试时适应
通过引入 PLUTO（Plug-and-pLay modUlar Test-time domain adaptatiOn）方法，本研究介绍了一种预训练模型通过无监督的测试时自适应方法来选择和组合相关模块，实现了动态适应新领域的能力，从而对于 - 使用深度学习对 LoRa 设备识别和恶意信号检测进行的对抗性攻击
该论文研究了一种深度学习框架来解决 LoRa 网络的安全挑战，包括设备识别和合法与伪装信号分类任务。研究结果表明对于不同 LoRa 信号分类任务的敌对攻击具有一定的传递性，并强调了使物联网应用抵御敌对攻击的必要性。
- 基于批处理低秩方法的基础模型适应
通过引入名为 Fast LoRA（FLoRA）的框架，我们可以有效地对多样化和全球用户群体的实时请求进行批处理，通过将每个输入示例与其独特的低秩适应权重关联起来，实现个性化的任务特定适应，从而缓解了 Low-Rank Adaptation - Run LoRA Run：更快更轻的 LoRA 实现
LoRA 是一种通过引入低秩适配器到线性层中减少可训练参数数量的技术，本文提出了 RunLoRA 框架，用于高效实现 LoRA，从而显著提高神经网络训练和微调的速度。实验结果显示，在 Llama 系列模型中可以实现高达 17% 的加速。
- ASPEN：使用单个 GPU 实现高吞吐量的大型语言模型 LoRA 微调
ASPEN 是一个高吞吐量的 fine-tuning 框架，通过 LoRA 方法在单个 GPU 上高效地训练多个任务，使用共享的预训练模型和自适应调度，可以显著节省 GPU 内存并提高训练吞吐量，同时减少工作轮转时间和训练延迟。
- MultiLoRA: 提升多任务学习效果的 LoRA 民主化
提出了 MultiLoRA，通过减少 LoRA 中观察到的顶层奇异向量的主导性，通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性，从而产生更平衡的单元子空间，从而实现更好的多任务适应性。MultiLoRA 在多个基准和 - 是否为？对持续可控激励工程的探索
ControlPE 是一种对大型语言模型进行微调和精细控制的技术，利用 LoRA 实现连续的 Prompt 引导权重调整，有效地管控生成过程中的 Prompt 影响。通过生成专门的数据集进行 Prompt 精炼，并将其应用于 LoRA 模型 - SiRA：稀疏低秩适应混合
稀疏混合专家 (SiRA) 是一种重要的参数高效调整方法，通过利用稀疏计算和一种新颖的专家放弃技术，SiRA 在不同的单任务和多任务设置中都优于 LoRA 和其他混合专家方法。
- 大规模语言模型重整的低秩适应对于参数高效语音识别
提出了一种基于低秩适应（LoRA）的神经语言建模系统，用于语音识别输出的再评分。通过低秩分解的方法，使用仅占预训练参数 0.08% 的插入矩阵进行训练和领域适应，实现了 Rescore-BERT（LoRB）架构，并在 LibriSpeech - 基于数据驱动的软件定义无线电下未经身份验证用户的低功率通信信号分类
本文讨论了基于低功率通信网络的大规模分布式多智能体系统中的拒绝服务攻击问题，并利用神经网络，将推测目标信号的带宽和扩频因子的问题转化为分类问题进行高效实现。