本文提出了一个新的随机梯度方法用于优化一组平滑函数的和,其中和是强凸的。与标准随机梯度方法在这个问题上的次线性收敛相比,该方法通过记忆之前的梯度值来实现线性收敛率。在机器学习的背景下,数值实验表明,该方法可以明显优于标准算法,不仅在优化训练误差方面,而且可以快速降低测试误差。
Feb, 2012
本文旨在介绍凸优化及其相应算法, 包括黑盒优化,结构优化, 随机优化以及非欧几里德设置下的机器学习算法。
May, 2014
提出了一种适应性在线梯度下降算法,用于解决具有长期约束的在线凸优化问题,可以处理任意凸约束,该算法在损失和约束违规方面分别具有O(T^max{β,1−β})和O(T^(1−β/2))的累积遗憾界,优于Mahdavi等(2012年)最好的已知累积遗憾界,该算法的性能已在实践中得到验证。
Dec, 2015
提出了一种改进的条件梯度方法来解决约束凸优化问题,针对多面体进行了相应的分析及优化,降低了每次迭代时的计算及内存开销,并在实际中通过对图路径、二分图完全匹配、结构预测任务中的边际分布等多样化问题进行测试并呈现出其卓越表现。
May, 2016
本文提出了一种新的局部增长速度理论,通过采用两种不同的加速随机次梯度下降方法解决了 随机凸优 程序,在不知道增长常数和增长率θ的情况下,证明了算法比传统随机次梯度下降法具有更快的全局收敛速度。
Jul, 2016
本文通过引入新的后悔分解和Bregman散度的泛化来对在线学习的两个算法进行分析,得出了较为简洁的结论,提出了对于复合目标的算法,并提供了一种细化的算法族。
Sep, 2017
该论文提出了基于随机条件梯度方法的优化问题求解算法,用于解决大规模维度下的凸函数、连续子模型等多种问题,并证明了当问题维度高时,该方法较与传统的随机梯度下降法更加稳定,同时计算时间复杂度也得到了有效降低。
Apr, 2018
提出了一种混合条件梯度方法,可用于在多面体P上最小化平滑凸函数,该方法结合了Frank-Wolfe算法和基于梯度的步骤,并通过保持迭代点为P的极端点的有限数量的稀疏凸组合,避免了向P投影的优点,实现了强凸函数的线性收敛。
May, 2018
本文提出了针对非凸和凸优化的零阶随机逼近算法,并关注解决约束优化、高维设置和避免鞍点等问题。我们探索了结构稀疏假设的优点,并提出了一种使用零阶信息的被截断随机梯度算法和一种避免鞍点的算法,并讨论了它们的收敛率。
Sep, 2018
本研究提出了一种新的不需要投影的算法框架来解决在线凸优化问题,该算法框架具有较好的性能表现并可处理多种约束情况。
May, 2023