Jun, 2012

大规模高斯过程回归的贪婪块坐标下降

PDF
TL;DR通过提出变量分解算法 - greedy block coordinate descent（GBCD）-，我们将密集高斯过程回归变得实用，解决了现有方法的局限性，并将主动集选择转化为零规范约束优化问题，使用贪心方法求解，进而在实证比较中证明了 GBCD 具有全局收敛的能力并且比竞争算法更快、更准确。
发现论文，激发创造
  • 用于加速并行坐标下降的特征聚类

    本文介绍一种新的算法集合，叫做块贪心坐标下降法，用于解决大规模的 L1 正则化问题，此算法家族的收敛性分析表明用于此问题的算法可以更好的利用并行计算，此理论收敛性分析得到实际数据实验的支持。

    Dec, 2012

  • 一种用于深度神经网络训练的近端块坐标下降算法

    提出了一种基于块坐标下降算法的深度神经网络优化算法，并提供了全局收敛结果，数值实验证明其与基于反向传播的标准优化器竞争力强。

    Mar, 2018

  • 块随机梯度迭代用于凸和非凸优化

    本文介绍了一种将 Stochastic Gradient 和 Block Coordinate Descent 结合的方法，名为 Block Stochastic Gradient，它可以解决包含多个变量块的目标函数的优化问题，无论是凸优化问题还是非凸优化问题，并在多个模型上进行了测试。

    Aug, 2014

  • 非光滑非凸优化问题的并行逐次凸近似

    本论文提出了一种基于多核并行处理技术和凸逼近的近似并行块协调下降（BCD）方法，并研究了该方法的收敛性，结果表明在 Lasso 问题的特定情况下，循环块选择规则优于随机规则。

    Jun, 2014

  • 大规模黑箱优化的零阶块坐标下降算法

    本研究提出了一种名为 ZO-BCD 的零阶优化算法，可在大规模环境下完成优化问题的求解，并在小迭代计算复杂度下具有较佳的查询复杂度和更小的内存占用，同时将其应用在音频分类器中，实现了在小波域的对抗攻击效果。

    Feb, 2021

  • 非 Lipschitz 优化的随机 Bregman 坐标下降方法

    本研究提出了一种基于 Bregman 距离的随机 Bregman（块）坐标下降法，解决了无法全局 Lipschitz 连续（部分）梯度假设的复合问题优化及收敛分析方面的瓶颈，给出了迭代收敛复杂度，并提出了加速 RBCD 方法。

    Jan, 2020

  • 用于训练 Tikhonov 正则化深度神经网络的收敛块坐标下降算法

    本文提出了一种用于训练深度神经网络的光滑的多凸形式，该方法利用了凸分析中的近端点方法，开发了一个块协调下降（BCD）训练算法，证明了其具有全局收敛性和 R - 线性收敛速率，并在实验中展示了优于 Caffe 工具箱中所有随机梯度下降（SGD）变体的表现。

    Nov, 2017

  • 用于非光滑优化的分块逐步最小化方法的统一收敛分析

    本篇论文探讨了一种近似的 BCD 方法，通过 successively 最小化一系列 f 不等式紧上界或者局部严格凸逼近来更新变量块，该方法适用于不可微或非凸问题，并能够实现收敛性的特征描述。这个结果将许多经典算法的收敛结果统一和扩展了，如 BCD 方法、DC 方法、EM 算法和交替近端最小化算法。

    Sep, 2012

  • 关于正交约束无光滑组合优化问题的块坐标下降方法

    提出了一种新的基于块坐标下降（OBCD）的非光滑复合优化方法，该方法能够在正交约束下解决一般的非光滑复合问题，是具备收敛保证的可行方法。

    Apr, 2023

  • 块坐标下降方法的迭代复杂度分析

    本文提供了一种对于块坐标下降方法族的统一迭代复杂度分析，涵盖了流行的方法如块坐标梯度下降 (BCGD) 和块坐标近端梯度下降 (BCPG)，更进一步地，对于多块非光滑凸性问题，BSUM 框架覆盖的所有算法均能够实现全局次线性迭代复杂度，而在每个块都被精确最小化的块坐标最小化问题中，本文还在无需每个块强凸性假设下建立了次线性收敛速率。此外，在只有两个变量块的情况下，特殊的 Gauss-Seidel 规则的 BSUM 算法能够加速实现 $O (1/r^2)$ 改善率。

    Oct, 2013