NIPSJun, 2013

大规模优化的随机主支配 - 最小化算法

PDF
TL;DR本文提出了一种可扩展的随机主化最小化方案，能够应对大规模或可能无限的数据集，解决凸优化问题，并开发了几种基于此框架的有效算法，包括一个新的随机近端梯度方法，用于大规模 l1 逻辑回归的非凸稀疏估计的在线 DC 编程算法和解决大规模结构矩阵分解问题的有效性。
majorization-minimization algorithmsscalableconvex optimizationstochastic proximal gradient methodlarge-scale structured matrix factorization
发现论文，激发创造
  • 增量主次优化在大规模机器学习中的应用

    提出了一种增量主化极小化算法，用于最小化连续函数的大量和，研究给出了非凸优化的渐近稳定点保证，并针对凸优化提供了期望目标函数值的收敛速度，在实验中展示了该方法在解决机器学习问题方面的竞争力以及处理非凸性惩罚稀疏估计的实用性。

    Feb, 2014

  • 基于随机模型的弱凸函数最小化

    本文提出一族算法通过简单的随机模型样本和优化方法，成功的减少了目标函数。我们展示出，合理的近似质量和模型的正则性下，此类算法将自然的稳定度衡量推向 0，该衰减速度为 O (k^(-1/4))，基于此原理，我们为随机的近端子梯度法，近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。

    Mar, 2018

  • 随机近端梯度算法的收敛性

    本文基于凸优化中函数是光滑和非光滑组合的形式，证明了一种适用于大类凸优化问题的随机近端梯度算法收敛性质，其避免了平均化和理论研究中常见但实际中不一定满足的有界性假设，证明了一系列强、弱收敛性结果，并得到了期望意义下的 $O (1/n)$ 的有界性结果。

    Mar, 2014

  • 随机条件梯度方法：从凸优化到子模最大化

    该论文提出了基于随机条件梯度方法的优化问题求解算法，用于解决大规模维度下的凸函数、连续子模型等多种问题，并证明了当问题维度高时，该方法较与传统的随机梯度下降法更加稳定，同时计算时间复杂度也得到了有效降低。

    Apr, 2018

  • 非强凸平稳随机逼近，收敛速率 O (1/n)

    本篇论文研究了关于随机逼近问题的现有算法，提出了两种新型随机梯度算法，并在回归和逻辑分类两种经典的监督学习问题上进行了测试，得到了较好的优化效果。

    Jun, 2013

  • 几乎必然受限凸优化

    我们提出了一种随机梯度框架，用于解决具有（可能）无限数量的线性包含约束条件的随机复合凸优化问题，而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件，无需矩阵投影，并且通过数值实验表明，我们的算法实现了最先进的实用性能。

    Jan, 2019

  • 随机优化中的渐近最优性

    本文针对随机凸优化问题，提出了局部复杂度度量，并给出了与优化固有几何概念相对应的统计难度的收敛结果。基于 Nesterov 的对偶平均方法和 Riemannian 方法，开发出完全在线的适应性最优收敛算法，实现了函数特定的下界和收敛结果，并对约束鉴别和线性约束与非线性约束等方面做了探讨。

    Dec, 2016

  • 非光滑和非凸优化的轻松主元最小化

    本文提出了一种新的主化 - 最小化（MM）方法，适用于非光滑和非凸规划，其广泛性足以涵盖现有的 MM 方法。与现有的 MM 方法相比，该方法构建替代函数的方式更优越，相应的算法在抗干扰矩阵分解问题（RMF）中得到应用，并非仅仅基于平滑部分逼近的代理函数，而是直接逼近非平滑目标函数。

    Nov, 2015

  • 高维随机优化与稀疏统计恢复：一种最优算法

    研究了基于 Nesterov 的对偶平均算法的随机优化算法，在预期损失是强凸的且最优解是（近似）稀疏的问题上进行优化，证明了在局部 Lipschitz 损失下，在 T 轮迭代后，我们的解决方案的误差最多为 O（（slogp）/T），并确立了我们的收敛率是最佳的，且在数值模拟中通过对最小二乘回归问题进行几个基准线的比较，证实了我们方法的有效性。

    Jul, 2012

  • 非凸和非光滑问题随机优化的稳定性和泛化

    本文针对非凸非光滑问题提出新的算法稳定性度量方法，同时建立它们与梯度之间的量化关系，并使用采样确定算法导出了随机梯度下降算法和其自适应变种的误差界。

    Jun, 2022