Oct, 2016

自适应序列随机优化

PDF
TL;DR介绍了一种框架，用于解决凸随机极小化问题，其中目标函数变化缓慢，通过应用选择的优化算法，例如随机梯度下降（SGD），来顺序地解决极小化问题。有两种跟踪标准来评估近似极小值的质量，一种是基于对均值轨迹的准确性，另一种是基于高概率的准确性。提供了估计极小值变化的技术，以及分析结果表明最终估计会上限极小值的变化。这个估计量提供了样本量选择规则，保证了足够的时间步长使跟踪标准得到满足。实验表明，该估计方法在实践中提供了所需的跟踪精度，同时在每个时间步中使用的样本数量方面是高效的。
convex stochastic minimization problemsoptimization algorithmtracking criteriasample size selection rulesestimation approach
发现论文，激发创造
  • 有序 SGD: 一种新的经验风险最小化随机优化框架

    论文提出了一种新的随机优化方法，它有针对性地偏向于高损失值的观测结果，并证明该算法对于凸损失具有亚线性收敛率，对于弱凸损失（非凸）具有关键点，同时在 SVM、逻辑回归和深度学习等模型中获得了更好的测试误差。

    Jul, 2019

  • 随机梯度内点算法求解光滑约束优化问题

    该研究提出了一种基于随机梯度下降法的内点算法，用于最小化一个连续可微的目标函数，该函数可能不是凸函数，同时受到边界约束。该算法唯一之处在于通过计算随机梯度估计来计算搜索方向，以及通过正面和消失的邻域参数序列来定义可行区域内部邻域，从而迫使迭代点保持在该邻域内。数值实验结果表明，在确定性和随机设置下，该算法的性能可以超过投影 -（随机）梯度法。

    Apr, 2023

  • 随机梯度下降优化方法的适应性

    该研究介绍了一种名为 SCSG 的自适应算法，通过批量方差降低和几何随机变量技术，该算法对强凸性和目标精度具有适应性，实现了比其他已有适应性算法更好的理论复杂度。

    Apr, 2019

  • 基于随机模型的弱凸函数最小化

    本文提出一族算法通过简单的随机模型样本和优化方法，成功的减少了目标函数。我们展示出，合理的近似质量和模型的正则性下，此类算法将自然的稳定度衡量推向 0，该衰减速度为 O (k^(-1/4))，基于此原理，我们为随机的近端子梯度法，近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。

    Mar, 2018

  • 分散随机优化与梯度追踪简介

    本文综述了基于梯度追踪和方差减少的去中心化随机一阶优化方法，介绍了这些算法在去中心化机器学习模型训练中的应用。

    Jul, 2019

  • 几乎必然受限凸优化

    我们提出了一种随机梯度框架，用于解决具有（可能）无限数量的线性包含约束条件的随机复合凸优化问题，而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件，无需矩阵投影，并且通过数值实验表明，我们的算法实现了最先进的实用性能。

    Jan, 2019

  • 非强凸平稳随机逼近，收敛速率 O (1/n)

    本篇论文研究了关于随机逼近问题的现有算法，提出了两种新型随机梯度算法，并在回归和逻辑分类两种经典的监督学习问题上进行了测试，得到了较好的优化效果。

    Jun, 2013

  • 大规模优化的随机主支配 - 最小化算法

    本文提出了一种可扩展的随机主化最小化方案，能够应对大规模或可能无限的数据集，解决凸优化问题，并开发了几种基于此框架的有效算法，包括一个新的随机近端梯度方法，用于大规模 l1 逻辑回归的非凸稀疏估计的在线 DC 编程算法和解决大规模结构矩阵分解问题的有效性。

    Jun, 2013

  • 随机优化的自适应采样策略

    本论文提出了一种随机优化方法，该方法通过自适应地控制梯度近似计算中使用的样本量来减少方差，使用内积测试来决定增加样本量，并通过逻辑回归问题的数值实验验证了该算法的有效性。

    Oct, 2017

  • 随机复合优化的估计序列：方差降低、加速和对噪声的鲁棒性

    本文提出了一种新的基于梯度的随机凸复合优化方法，将估计序列概念推广到随机优化算法中，以一种简单通用的方式证明了众多随机优化算法的收敛性，并提出几种可靠性策略。

    Jan, 2019