Jun, 2023

带有近端正则的块坐标下降复杂度及其在 Wasserstein CP 字典学习中的应用

PDF
TL;DR该论文主要介绍了基于 Gauss-Seidel 类型的块坐标下降算法（BCD-PR）的近端正则化方法，以及提出了一种双重正则化的原始问题的对偶算法，并将其应用于 Wasserstein CP - 字典学习中，从而实现了优化问题的求解。
发现论文，激发创造
  • 计算投影鲁棒瓦瑟斯坦距离的黎曼块坐标下降方法

    本文提出了一种基于新颖的正则化最大最小化问题的 Riemann 块坐标下降（RBCD）方法，用于解决高维概率分布下 Wasserstein 距离的问题。该方法能够有效地进行降维和计算，适用于大规模问题。数值结果表明，该方法比现有的一些算法更加高效。

    Dec, 2020

  • 一种用于深度神经网络训练的近端块坐标下降算法

    提出了一种基于块坐标下降算法的深度神经网络优化算法，并提供了全局收敛结果，数值实验证明其与基于反向传播的标准优化器竞争力强。

    Mar, 2018

  • 用于训练 Tikhonov 正则化深度神经网络的收敛块坐标下降算法

    本文提出了一种用于训练深度神经网络的光滑的多凸形式，该方法利用了凸分析中的近端点方法，开发了一个块协调下降（BCD）训练算法，证明了其具有全局收敛性和 R - 线性收敛速率，并在实验中展示了优于 Caffe 工具箱中所有随机梯度下降（SGD）变体的表现。

    Nov, 2017

  • 非 Lipschitz 优化的随机 Bregman 坐标下降方法

    本研究提出了一种基于 Bregman 距离的随机 Bregman（块）坐标下降法，解决了无法全局 Lipschitz 连续（部分）梯度假设的复合问题优化及收敛分析方面的瓶颈，给出了迭代收敛复杂度，并提出了加速 RBCD 方法。

    Jan, 2020

  • 基于块随机化的随机近端梯度下降方法用于低秩张量分解

    本文提出了一种用于大规模张量分解的随机优化框架，结合了随机块坐标下降和随机近端梯度等算法，支持常用的约束和正则化，并给出了收敛性分析。

    Jan, 2019

  • 随机块坐标下降方法的复杂性分析

    本文主要研究随机块 - 坐标下降方法在最小化一般光滑凸函数和块可分凸函数的和时的应用，提出一种更加针对性的收敛速度和更好的迭代复杂度，同时针对无约束光滑凸函数极小化问题提出了新的随机评估序列技术并改进了现有算法的收敛速度。

    May, 2013

  • 块坐标下降方法的迭代复杂度分析

    本文提供了一种对于块坐标下降方法族的统一迭代复杂度分析，涵盖了流行的方法如块坐标梯度下降 (BCGD) 和块坐标近端梯度下降 (BCPG)，更进一步地，对于多块非光滑凸性问题，BSUM 框架覆盖的所有算法均能够实现全局次线性迭代复杂度，而在每个块都被精确最小化的块坐标最小化问题中，本文还在无需每个块强凸性假设下建立了次线性收敛速率。此外，在只有两个变量块的情况下，特殊的 Gauss-Seidel 规则的 BSUM 算法能够加速实现 $O (1/r^2)$ 改善率。

    Oct, 2013

  • 深度学习中块坐标下降的全局收敛性

    本文介绍了一种针对深度学习中常用的两分和三分网络结构的 Block Coordinate Descent 方法，论证了它的全局收敛性和迭代收敛速度。

    Mar, 2018

  • 一种用于滤波和参数估计的块坐标下降近端方法

    我们提出并分析了一种用于 ODE 模型的块协调下降近端算法（BCD-prox）以实现同时过滤和参数估计。与现有方法相比，我们在最多维度 d=40 的 ODE 系统上展示了 BCD-prox 的提高的鲁棒性（对于噪声、参数初始化和超参数）、减少的训练时间以及改进的过滤状态和估计参数的准确性。我们展示了 BCD-prox 如何与多步数值离散化一起使用，并在包括感兴趣的实际系统的假设下证明了 BCD-prox 的收敛性。

    Oct, 2018

  • 用于非光滑优化的分块逐步最小化方法的统一收敛分析

    本篇论文探讨了一种近似的 BCD 方法，通过 successively 最小化一系列 f 不等式紧上界或者局部严格凸逼近来更新变量块，该方法适用于不可微或非凸问题，并能够实现收敛性的特征描述。这个结果将许多经典算法的收敛结果统一和扩展了，如 BCD 方法、DC 方法、EM 算法和交替近端最小化算法。

    Sep, 2012