通过优化训练和内存利用，OwLore 方法在大型语言模型中实现了高效的微调和低内存占用。

May, 2024

本研究探讨了一种改进的 LoRA 优化方法，称为 PeriodicLoRA（PLoRA），通过多次积累低秩更新矩阵来提高更新秩，并引入一种基于动量的卸载策略以减轻训练不稳定性。实验结果表明，PLoRA 具有更强的学习能力，最高可达到 LoRA 学习能力的 1.8 倍，但不增加内存使用。

Feb, 2024

通过梯度投影方法，我们提出了一种新的迭代优化框架 COLA，通过将学习的链式 LoRA 模块与预训练的语言模型参数进行融合，并为新生成的 LoRA 模块重新初始化优化过程，从而在无需额外的计算和内存成本的情况下弥合了 LoRA 和完全参数微调之间的差距。

Jan, 2024

本文提出一种精细调整方法，通过分层修剪和自动调整分层学习率来改善调整性能和降低网络复杂度，在图像检索基准数据集（CUB-200，Cars-196，斯坦福在线产品和 Inshop）中取得了最先进的性能。

Feb, 2020

本文介绍了一种更新基础模型以适应新信息并保留其原始能力的新方法，通过对一小部分参数进行本地化修改，并引入重要性评分机制来仅更新最关键的权重，在多样的持续学习任务中得到了全面评估，表明其能够提高现有的持续学习方法并减少已训练知识的损失。

Aug, 2023

通过在编程和数学这两个目标领域上比较 Low-Rank Adaptation (LoRA) 和全精调 (full finetuning) 的性能，我们发现在大多数情况下，LoRA 的表现明显逊于全精调；然而，LoRA 展现了一种理想的正则化形式，并且可以更好地保持基础模型在目标领域之外的任务表现，同时比传统技术如权重衰减和 dropout 提供了更强的正则化效果，并有助于生成更多样化的结果。我们还发现全精调学习到的扰动比典型 LoRA 配置的秩高 10-100 倍，这可能解释了一些报告中的差距。最后，我们提出了在使用 LoRA 进行精调时的最佳实践建议。

May, 2024

基于已训练好的基础模型进行微调在新的下游任务中得到广泛应用，但是存在着泛化到未见分布（即超过分布；OOD）的挑战。为了改善 OOD 的泛化能力，本文提出了一种新的通用微调方法 LEVI，在保留训练和推断效率的同时，通过自适应地对预训练模型进行逐层集成和与小型任务专属模型相结合，有效地抑制了微调数据和预训练模型中的问题特征，保留了新任务所需的有用特征。通过大规模语言和视觉模型进行的广泛实验表明，LEVI 通过强调来自微调数据和预训练特征的不同视角，极大地提高了微调的泛化能力。

Feb, 2024

研究采用黑盒优化技术通过 LoRA 方法调优大型语言模型的超参数选择，以提高性能和人工对齐。

Dec, 2023

本研究旨在提出一种采用零阶优化的方法，以减少在大规模语言模型训练中由反向传播算法所引起的显著内存开销，从而实现内存更高效的模型微调。

Feb, 2024

机器学习中的在线学习方法 OLR-WA，通过结合新旧数据建立模型来解决数据量庞大和数据变化的问题，并通过用户定义的权重来实现对结果的偏好。与静态模型相比，OLR-WA 在一致数据上表现相似，在变化数据上，则可根据用户需求调整适应速度或抵抗变化。

Jul, 2023