通过梯度投影方法，我们提出了一种新的迭代优化框架 COLA，通过将学习的链式 LoRA 模块与预训练的语言模型参数进行融合，并为新生成的 LoRA 模块重新初始化优化过程，从而在无需额外的计算和内存成本的情况下弥合了 LoRA 和完全参数微调之间的差距。

Jan, 2024

本研究提出了一种实用的不精确增广拉格朗日方法（iALM）用于具有非凸问题和非线性约束，这种方法可以在计算复杂度上符合理论结果。

Jun, 2019

提出了一个在分散优化设置下设计原始方法的框架，该框架适用于局部函数光滑且强凸。通过近似解决由加速增广拉格朗日方法引起的一系列子问题，从而提供了一种演导出几个著名的分散算法的系统方法。当与加速梯度下降相结合时，我们的框架会产生一种新的原始算法，其收敛速度是最优的，并且与最近确定的下限相匹配。我们提供实验结果，证明了拟议算法在高度病态问题上的有效性。

Jun, 2020

使用协作适应（ColA）和梯度学习（GL）的参数自由、模型不可知的微调方法在性能上与现有的参数高效微调方法相媲美甚至更好，在各种基准测试中 ColA 的计算性能更具成本效益，使得微调作为一项服务可通过将梯度计算卸载到低成本设备来实现。

Apr, 2024

这篇论文介绍了 CoLLiE，一种高效的库，通过 3D 并行性、参数高效微调方法和优化器，如 Lion、Adan、Sophia、LOMO 和 AdaLomo，促进了大型语言模型的协作训练。CoLLiE 在预训练和微调场景中证明了其卓越的训练效率，并在吞吐量方面进行了综合比较各种优化器和 PEFT 方法。

Dec, 2023

本文提出了一种完全去中心化的方法，通过重构再投影误差和导出新的代理函数，解决了通信和计算瓶颈，将 bundle adjustment 问题分解成可并行求解的最优化子问题，最终达到更快的收敛速度和更准确的结果。

May, 2023

本文提出和建立了一种非精确的近端加速增广 Lagrange (IPAAL) 方法，用于解决线性约束平滑非凸复合优化问题的迭代复杂度，并证明了 IPAAL 方法在大多数 ACG 迭代中产生一个近似稳定解决方案。

Jun, 2020

提出了一种基于 LM 算法的随机捆绑调整算法，通过图像的聚类，将 RCS 近似分解到 LM 迭代中以提高计算效率并改进可扩展性，实验结果表明该方法在无序网络图像集、SLAM 图像集和大规模数据集上都具有很高的效率和可扩展性。

Aug, 2020

通过引入基于图的深度学习模型，使用最低共同祖先矩阵（LCAG）对粒子衰变树结构进行编码，并结合扰动增强技术以及监督图对比学习算法来提高高能物理数据分析的衰变事件重建准确性。

Feb, 2024

几何无关的系统识别；物理增强连续神经光辐射场；混合欧拉 - 拉格朗日表示形式；拉格朗日粒子优化；稀疏视角设置。

Jun, 2024