- 矩阵流形上的 Riemannian 坐标下降算法
提出了在矩阵流形上开发计算效率高的坐标下降(CD)算法的一般框架,从而允许在每次迭代中仅更新少数变量,并符合流形约束。通过一阶目标函数的近似实现了更高效的变体,分析了它们的收敛性和复杂性,并在多个应用中验证了它们的有效性。
- 一些凸型消息传递算法的收敛到一个固定点
该研究提出了一种基于坐标下降的方法来解决图模型中的 MAP 推理问题,并证明了该方法的迭代会收敛到算法的一个固定点,且在 O (1/ε) 次迭代内达到精度 ε>0。
- 高效求解密集线性系统的方法
提出了一种随机优化算法,通过块坐标下降方法和矩阵草图技术,在线性系统中实现了良好的收敛性能和快速迭代时间。
- QuantEase: 基于优化的语言模型量化 -- 一种高效直观的算法
本研究采用 Coordinate Descent(CD)技术,通过 QuantEase 分层量化框架对 Large Language Models(LLMs)进行后训练量化,包括离群值感知算法,以实现近乎 3 位量化并提高模型性能。
- KDD学习本地可解释规则集合
本文提出了一种新的框架来学习规则集合模型,该模型既准确又可解释,该模型的可解释性通过评估模型所需表达预测所需的规则数量来评估,并提出了一种促进局部可解释性的正则化器,通过局部搜索的坐标下降算法来学习规则集合。实验结果表明,与现有方法(包括 - CVPRTO-FLOW:具有时间优化的连续归一化流和移动速度伴随的高效算法
该研究提出了一种使用坐标下降和进化时间优化相结合的方法对神经常微分方程进行训练,以加速训练速度和提高稳定性,并在基准模型的基础上展示了更好的性能。
- 大规模稀疏回归:基于一阶优化的分支定界
本文提出了一种新的混合整数规划框架,结合非线性分支定界和坐标下降方法,用于计算最小二乘回归中的 $l_{0} l_{2}$ 惩罚,证明了该框架不仅比现有方法快很多,而且可以处理一些统计性较强的示例,并提供了 $L0BnB$ 工具箱的开源实现 - 非 Lipschitz 优化的随机 Bregman 坐标下降方法
本研究提出了一种基于 Bregman 距离的随机 Bregman(块)坐标下降法,解决了无法全局 Lipschitz 连续(部分)梯度假设的复合问题优化及收敛分析方面的瓶颈,给出了迭代收敛复杂度,并提出了加速 RBCD 方法。
- 拜占庭容错分布式优化的数据编码
本论文主要研究分布式优化存在拜占庭对手时的情况,提出了一种基于数据编码和纠错的新方法以抵御对手的攻击,证明了该方法信息理论上的最佳方案,并针对解决该问题提出了两个迭代算法:接近梯度下降(PGD)和坐标下降(CD)。通过实验结果证明了该方法的 - 自适应随机子空间中的高维优化
提出了一种新的高维随机优化方法,将坐标下降法推广到随机子空间,证明了使用自适应采样策略的随机子空间可以显著优于最近文献中常见的盲目采样方法,可以通过相关随机矩阵集合有效生成自适应子空间;在具有不同谱衰减的数据矩阵上验证了该方法在机器学习问题 - ICLRSNODE: 神经常微分方程的谱离散化方法用于系统辨识
本文提出了使用谱元方法进行神经普通微分方程(ODE-Nets)的快速准确训练以及系统识别。算法通过调整误差函数和 ODE-Net 动态违规量的加权总和,使用坐标下降法计算出系数和网络权重的最小值,并使用标准反向传播和梯度方法优化。实验结果表 - 高效贪心坐标下降求解组合问题
本文提出一种针对一类非光滑复合问题的贪心更新规则,其中包括 $L1$- 正则化问题,SVM 等应用程序。我们提供了独立于 $n$ 的首个线性收敛速度,并且证明了我们的贪心更新规则提供了类似于光滑情况下所获得的速度提升。此外,我们还展示了我们 - 加速贪心坐标下降法
研究加速贪婪坐标下降算法,在理论和实践中分别探究 $O (1/k^2)$ 收敛及其在强凸函数方面加速线性收敛的性能,引入并研究了两种算法:加速半贪婪坐标下降(ASCD)和加速贪婪坐标下降(AGCD)算法,实验结果表明 AGCD 优于其他加速 - 坐标下降与赌博抽样
提出一种自适应选择坐标方法来提高坐标下降方法的收敛性,该方法通过多臂老虎机算法学习使用具有较大下降下限的坐标进行更新,从而解决了检查所有坐标的困难,提高了计算效率。
- 混合方法:带对角线约束半定规划的低秩坐标下降算法
本文提出了一种低秩坐标下降方法,用于结构半定规划,该方法是极其简单易于实现的,没有自由参数,并且通常比现有技术的优化性能提高一个数量级或更好的性能。我们证明该算法是严格下降的,收敛到一个临界点,并且对于足够秩的情况,所有非最优临界点都是不稳 - 一种通用的坐标下降框架 —— 从隐式反馈中学习
本文提供了一种新的框架来衍生复杂推荐模型的高效 CD 算法,其中一项关键是 k 可分离模型的属性。这个框架被应用在各种最先进的模型上,包括分解机和 Tucker 分解,提供了高效的隐式 CD 算法推荐模型的理论和构建模块。
- 坐标下降算法入门
该专著介绍了坐标下降算法,主要研究优化问题的解决方法,适用于机器学习、数据科学、工程等领域。
- 大步长坐标下降原始 - 对偶算法与可能非可分函数
该论文介绍了一种 V~u-Condat 算法的坐标下降版本,该算法可以解决具有可微函数、约束以及非可分、非可导的正则化器的优化问题,并且在更广泛的参数范围内比之前的方法产生了更好的收敛性能。
- 任意采样协同下降 I: 算法与复杂度
研究了平滑凸函数和凸块可分正则化项求和的最小化问题,提出了一种新的随机坐标下降算法,称为 ALPHA,其维护了一个随机的坐标集,可以处理任意的采样,在特殊情况下可以变成梯度下降法,坐标下降法和并行坐标下降法等多种算法,还提供了复杂度分析,可 - 非强凸损失的快速分布式坐标下降
本文提出了一种高效的分布式随机坐标下降算法,用于最小化正则化的非强凸损失函数,并经过在英国最大的超级计算机 Archer 上的实现,表明该算法可以有效解决一个具有 500 亿个变量的 LASSO 优化问题,具有 O (1/k^2) 的收敛速