本研究提出了一种基于 Bregman 距离的随机 Bregman（块）坐标下降法，解决了无法全局 Lipschitz 连续（部分）梯度假设的复合问题优化及收敛分析方面的瓶颈，给出了迭代收敛复杂度，并提出了加速 RBCD 方法。

Jan, 2020

本文提出了一种随机非单调块次梯度法，可用于最小化平滑函数和块可分离（可能非凸，非光滑）函数之和。该方法具有一定的收敛速度和找到一个近似静止点的能力，可以用于解决最小二乘问题和双重支持向量机问题。

Jun, 2013

通过随机块三次牛顿方法和近端算子，成功优化了三个可微，二次可微和非光滑项的凸函数求和问题，并在多个机器学习问题中实现了成功的优化。

Feb, 2018

通过开发随机块坐标下降法，我们证明该方法能够以概率至少为 1-rho 获得 Epsilon - 准确解，其迭代次数不超过 O (n / Epsilon*log (1/rho))，并且将前人研究的复杂度缩小 4 倍，消除了对数项中的 Epsilon，并成功地解决了 l1 正则化最小二乘和支持向量机等问题。

Jul, 2011

本文主要研究随机块 - 坐标下降方法在最小化一般光滑凸函数和块可分凸函数的和时的应用，提出一种更加针对性的收敛速度和更好的迭代复杂度，同时针对无约束光滑凸函数极小化问题提出了新的随机评估序列技术并改进了现有算法的收敛速度。

May, 2013

本文提出了一种用于训练深度神经网络的光滑的多凸形式，该方法利用了凸分析中的近端点方法，开发了一个块协调下降（BCD）训练算法，证明了其具有全局收敛性和 R - 线性收敛速率，并在实验中展示了优于 Caffe 工具箱中所有随机梯度下降（SGD）变体的表现。

Nov, 2017

本文提出了一种基于新颖的正则化最大最小化问题的 Riemann 块坐标下降（RBCD）方法，用于解决高维概率分布下 Wasserstein 距离的问题。该方法能够有效地进行降维和计算，适用于大规模问题。数值结果表明，该方法比现有的一些算法更加高效。

Dec, 2020

我们引入自协调平滑的概念，用于最小化两个凸函数的和：第一个是光滑的函数，第二个可以是不光滑的函数。我们的方法自然地从称为部分平滑的平滑近似技术中得出。我们的方法的重点在于所得问题结构的自然特性，它为我们提供了一个变量度量选择方法和一条特别适合于近端牛顿类型算法的步长选择规则。另外，我们有效地处理不光滑函数推动的特定结构，例如 L1 正则化和组套索惩罚。我们证明了两种算法的局部二次收敛速度：Prox-N-SCORE，即近端牛顿算法和 Prox-GGN-SCORE，即近端广义高斯牛顿（GGN）算法。Prox-GGN-SCORE 算法突出了一种较为重要的近似过程，有助于显著降低与逆 Hessian 相关的大部分计算开销。此近似过程对于超参数机器学习模型和小批量设置非常有用。对合成数据集和真实数据集的数值实验证明了我们方法的效率和优越性。

Sep, 2023

该研究广义化了牛顿型方法以处理光滑函数的最小化，特别是一个包含简单近端映射的凸函数和一个非光滑函数的总和，在此基础上提出了近端牛顿型方法。研究表明，该方法即使在计算搜索方向不精确时，也能继承用于最小化光滑函数的牛顿型方法的理想收敛性质。该方法是许多针对生物信息学、信号处理和统计学习等问题量身定制的流行方法的特例，并且分析结果为其中一些方法提供了新的收敛结果。

Jun, 2012

该论文主要介绍了基于 Gauss-Seidel 类型的块坐标下降算法（BCD-PR）的近端正则化方法，以及提出了一种双重正则化的原始问题的对偶算法，并将其应用于 Wasserstein CP - 字典学习中，从而实现了优化问题的求解。

Jun, 2023