在线自适应方法、普适性和加速
提出了一种新颖的自适应加速算法,通过 Mirror-Prox 方法,同时实现了平滑 / 非平滑问题和确定性 / 随机一阶预测器的最优解,且不需要先验知识,这是第一个在约束条件下实现最优解的自适应、统一算法,并通过大量数值实验展示了其实用性。
Oct, 2019
本文提出了一种基于离线方法的凸优化方法,通过查询梯度谐和和的方法实现自适应保证,在平滑和非平滑条件下都能实现快速收敛,同时还可以推广到随机梯度下降算法中,提供了一种根据梯度幅值自适应选择 minibatch 大小的方法。
May, 2017
我们提出了一种新的优化方法,通过类似于椭球体法的简单几何解释,实现了超平滑何强凸函数的无约束优化,并在数值实验中证明了其优于 Nesterov 加速梯度下降。
Jun, 2015
本文提出了 AdaACSA、AdaAGD + 等新的自适应一阶优化算法,以加速受限制的凸优化问题中的收敛速度,同时针对平滑和不平滑函数,实现几乎最优的收敛速率;同时,通过自动调整每个坐标学习率,这些算法不需要固定事先知道目标函数的参数化,是针对限制优化的真正加速 Adagrad 方法之一。此外,本文提出了适用于无限制优化和单调算子的自适应方法,并附有具体的算法实现。
Jul, 2020
我们提出了一种适应性步长方法,用于解决一个广泛类别的非凸多目标规划问题,且不包含线搜索技术,适用于无界约束集。我们证明了在适度假设下,该方法的收敛性,并应用该方法进行了一些实验以验证其有效性。
Feb, 2024
本文提出了一种加速的一阶优化算法 —— 鲁棒动量法,可用于优化平滑强凸函数。该算法有一种参数可以调节对梯度噪声的稳健性与最差情况下的收敛速度之间的平衡。算法具有简单的解析形式,并通过在干净和梯度噪声情况下的一系列数值模拟进行了验证。
Oct, 2017
提出一种方法,在光滑随机凸优化中实现接近最优的速率,几乎不需要先验问题参数知识,通过结合 UniXGrad 和 DoG,使用新的迭代稳定技术,在仅具有对 d0 和噪声大小的粗略上界的情况下,提供了对于子高斯噪声的高概率保证,并且在非光滑的情况下也接近最优。在凸问题上表现出一致且强大的性能,在神经网络训练上的结果有所不同。
Mar, 2024
本文介绍了在线学习的基本概念和现代在线凸优化的视角,并针对凸丢失,在欧几里得和非欧几里得环境中介绍了一阶和二阶算法。同时,还特别关注了算法参数调优和在无界域上的学习,并介绍了对非凸损失的处理方法和信息缺失的决策问题中的多臂赌博机问题。
Dec, 2019