本研究提出了一种基于 Bregman 距离的随机 Bregman(块)坐标下降法,解决了无法全局 Lipschitz 连续(部分)梯度假设的复合问题优化及收敛分析方面的瓶颈,给出了迭代收敛复杂度,并提出了加速 RBCD 方法。
Jan, 2020
本篇论文探讨了一种近似的 BCD 方法,通过 successively 最小化一系列 f 不等式紧上界或者局部严格凸逼近来更新变量块,该方法适用于不可微或非凸问题,并能够实现收敛性的特征描述。这个结果将许多经典算法的收敛结果统一和扩展了,如 BCD 方法、DC 方法、EM 算法和交替近端最小化算法。
Sep, 2012
通过开发随机块坐标下降法,我们证明该方法能够以概率至少为 1-rho 获得 Epsilon - 准确解,其迭代次数不超过 O (n / Epsilon*log (1/rho)),并且将前人研究的复杂度缩小 4 倍,消除了对数项中的 Epsilon,并成功地解决了 l1 正则化最小二乘和支持向量机等问题。
Jul, 2011
本论文提出了一种基于多核并行处理技术和凸逼近的近似并行块协调下降(BCD)方法,并研究了该方法的收敛性,结果表明在 Lasso 问题的特定情况下,循环块选择规则优于随机规则。
Jun, 2014
本文主要研究随机块 - 坐标下降方法在最小化一般光滑凸函数和块可分凸函数的和时的应用,提出一种更加针对性的收敛速度和更好的迭代复杂度,同时针对无约束光滑凸函数极小化问题提出了新的随机评估序列技术并改进了现有算法的收敛速度。
May, 2013
本文介绍了一些带有或没有耦合的非凸优化模型,使用了相关的优化算法,如条件梯度和 ADMM, 为专门处理非凸和非光滑优化问题的理论和算法的发展提出了一步。通过数值实验,证明了这些算法的高效性,特别是在张量鲁棒 PCA 的场景下。
May, 2016
我们提出并分析了一种用于 ODE 模型的块协调下降近端算法(BCD-prox)以实现同时过滤和参数估计。与现有方法相比,我们在最多维度 d=40 的 ODE 系统上展示了 BCD-prox 的提高的鲁棒性(对于噪声、参数初始化和超参数)、减少的训练时间以及改进的过滤状态和估计参数的准确性。我们展示了 BCD-prox 如何与多步数值离散化一起使用,并在包括感兴趣的实际系统的假设下证明了 BCD-prox 的收敛性。
Oct, 2018
本文介绍了一种将 Stochastic Gradient 和 Block Coordinate Descent 结合的方法,名为 Block Stochastic Gradient,它可以解决包含多个变量块的目标函数的优化问题,无论是凸优化问题还是非凸优化问题,并在多个模型上进行了测试。
Aug, 2014
提出了一种基于 prox-linear surrogate 的原则的优化算法,证明了其全迭代序列收敛于关键点并具有较快的收敛速度,并将其应用于非凸正则化线性回归和非负矩阵分解等问题。
Oct, 2014
提出了一种基于块坐标下降算法的深度神经网络优化算法,并提供了全局收敛结果,数值实验证明其与基于反向传播的标准优化器竞争力强。
Mar, 2018