本文针对大规模问题,提出了一种采用非均匀采样、每个坐标加权的加速坐标下降方法,实现了加速梯度下降和经验风险最小化的优化,使得运行时间显著减少。
Dec, 2015
研究加速贪婪坐标下降算法,在理论和实践中分别探究 $O (1/k^2)$ 收敛及其在强凸函数方面加速线性收敛的性能,引入并研究了两种算法:加速半贪婪坐标下降(ASCD)和加速贪婪坐标下降(AGCD)算法,实验结果表明 AGCD 优于其他加速坐标下降方法。
Jun, 2018
本文提出了一种异步并行随机坐标下降算法,它具有线性收敛速率和 $1/K$ 的次线性速率,可实现基于多核系统的近线性加速,并取得了在 40 核处理器上的实现结果。
Nov, 2013
该研究发展了一种基于随机迭代的方法来解决线性系统问题,并通过变化两个参数来恢复广泛的已知算法,并且在单个定理中证明了误差的指数收敛,并给出了预期迭代的精确公式。
Jun, 2015
本文提出了一种高效的分布式随机坐标下降算法,用于最小化正则化的非强凸损失函数,并经过在英国最大的超级计算机 Archer 上的实现,表明该算法可以有效解决一个具有 500 亿个变量的 LASSO 优化问题,具有 O (1/k^2) 的收敛速度。
May, 2014
本文针对最小化部分可分平滑凸函数和简单可分离凸函数之和的问题,展示了随机(块)坐标下降法在并行化时可以加速。 研究表明,与串行方法相比,在高概率下近似解决问题所需的迭代次数的理论加速比简单地依赖于并行处理器数量和目标函数平滑部分可分离的自然且易于计算的可分离度度量。 此外,当每次迭代更新的块数是随机的时,该算法的处理能力也非常出色,并可以解决涉及具有 200 亿个非零元素的矩阵的 LASSO 问题。
Dec, 2012
本研究旨在介绍了坐标下降算法的基本原理、变体及其扩展,特别关注于在数据分析、机器学习等领域中的应用及并行执行的收敛性等。
Feb, 2015
研究随机算法和线性代数条件数,以提高坐标下降和迭代投影算法,在一些概率分布下,提高收敛速度。此外,进一步讨论以度量正则性假设下凸系统的推广及其与 ill-posedness 的距离的关系。
Jun, 2008
本文介绍了基于随机块坐标梯度下降的并行优化算法,能够快速高效地解决大规模线性可分凸问题在网络结构上的应用,收敛速率与更新组件 $ au$ 线性相关,并探讨了稀疏半定规划解法和具体应用。
Apr, 2015
该专著介绍了坐标下降算法,主要研究优化问题的解决方法,适用于机器学习、数据科学、工程等领域。
Sep, 2016