Jul, 2012

高维随机优化与稀疏统计恢复：一种最优算法

HTML
PDF
TL;DR研究了基于Nesterov的对偶平均算法的随机优化算法，在预期损失是强凸的且最优解是（近似）稀疏的问题上进行优化，证明了在局部Lipschitz损失下，在T轮迭代后，我们的解决方案的误差最多为O（（slogp）/T），并确立了我们的收敛率是最佳的，且在数值模拟中通过对最小二乘回归问题进行几个基准线的比较，证实了我们方法的有效性。
发现论文，激发创造
  • 非强凸平稳随机逼近，收敛速率O(1/n)

    本篇论文研究了关于随机逼近问题的现有算法，提出了两种新型随机梯度算法，并在回归和逻辑分类两种经典的监督学习问题上进行了测试，得到了较好的优化效果。

    Jun, 2013

  • 随机梯度下降，加权抽样和随机Kaczmarz 算法

    本文主要研究了随机梯度下降法的线性收敛性，得到了更好的收敛保证，并且阐述了使用重要性采样在其他场景中进一步提高收敛速度的方法。研究基于随机梯度下降法与随机 Kaczmarz 算法之间的联系，可以将各自的研究成果相互借鉴。

    Oct, 2013

  • 凸优化：算法与复杂度

    本文旨在介绍凸优化及其相应算法, 包括黑盒优化，结构优化, 随机优化以及非欧几里德设置下的机器学习算法。

    May, 2014

  • 非正则化：经验风险最小化的近端点近似和更快的随机算法

    本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势

    Jun, 2015

  • 一种线性收敛的随机L-BFGS算法

    提出了一种新的随机L-BFGS算法，并证明了它对于强凸平滑函数具有线性收敛率。这种算法对于大规模的凸和非凸优化问题表现出色，具有快速求解高精度的线性收敛率，对于多种步幅表现良好。

    Aug, 2015

  • 高维随机零阶优化

    本文介绍了使用随机零阶查询优化高维凸函数的问题，提出了两种算法，并表明两种算法只依赖于问题的环境维度的对数收敛率。实证研究证明了理论发现，并表明我们设计的算法在高维场景中优于经典的零阶优化方法。

    Oct, 2017

  • 针对复合凸光滑优化的随机梯度方法统一分析

    本文为最小化平滑和凸损失加上凸正则化的随机梯度算法提供了一致的收敛性分析定理，并探讨了特定算法的最优小批量大小。

    Jun, 2020

  • 非凸随机优化中重尾的高概率界限

    本研究讨论了使用第一阶梯度算法进行的非凸随机优化问题，其中梯度估计可能具有重尾特征，结果表明梯度剪裁，动量和归一化梯度下降的组合可以在高概率下收敛于关键点，特别适用于光滑损失的已知最佳速率，适用于任意光滑度规范，并针对克服该领域二阶光滑损失引发的问题进行讨论。

    Jun, 2021

  • 状态依赖噪声的加速随机逼近

    本文讨论了一类随机光滑凸优化问题，其噪声的方差与算法产生的近似解的次优性有关，提出了两个非欧几里德加速随机逼近算法，即随机加速梯度下降（SAGD）和随机梯度外推（SGE），并证明了在适当的条件下，这两个算法可以同时达到最优的迭代和样本复杂度。同时本文还提出了应用SGE进行恢复稀疏解的方法。

    Jul, 2023

  • 基于修正偏置动量的加速随机极小-极大优化

    针对非凸优化中最小最大优化问题，本研究提出了利用高效的Hessian-向量乘积的新型修正动量算法，建立了收敛条件并证明了所提算法的迭代复杂度为O(ε^{-3})。通过在实际数据集上进行鲁棒的逻辑回归的应用验证了该方法的有效性。

    Jun, 2024