本论文提出一种新的加速双平均主 - 双算法来最小化组合凸函数,并推导了该方法的随机版本,从理论和实证上证明了其在处理稀疏数据方面的优势。
Jan, 2020
该论文探讨了基于在线凸优化的强化学习的新框架,特别是镜像下降及相关算法,提出了一种新的类似于梯度下降的迭代方法。其中,基于不同 Bregman 散度的抛物线梯度强化学习法比常规 TD 学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法,相比之前基于二阶矩阵方法的方法,在寻找一个 l1 正则化 Bellman 方程的稀疏不动点时具有显著的计算优势。
Oct, 2012
本文探讨随机次梯度镜像下降方法在解决受限凸规划问题中的应用及其收敛性分析,特别研究了带有加权迭代平均的随机次梯度镜像下降方法,并分析了其迭代收敛速度和优化效果。通过合适的步长取值,实现了具有强凸性和一般凸性的函数的最优平均速率,并且通过加权平均的方式,优于已有的算法。
Jul, 2013
本篇论文提出了一种加速随机镜像下降法来解决平均函数和非强凸函数的问题,绕过了常见的小二次正则化降低性能的方法,可以更好地解决非强凸情况。
May, 2016
本文提出了基于近似镜像下降的一类在线分布式优化算法,以 Bregman 距离为测量函数,包括欧几里得距离作为特例,考虑两种标准信息反馈模型,并通过在线分布式正则化线性回归问题的仿真结果验证了算法的性能。
Apr, 2020
本文提供了一种新的方法,将在线预测算法在线镜像下降推广到具有通用更新的时间变化正则化器,并演示了该方法的强大功能。
Apr, 2013
本文研究了分布式网络中去中心化优化的问题,尤其是基于双重平均子梯度的分布式算法及其收敛速度与网络大小和拓扑结构的关系,同时探讨了算法收敛和网络结构限制之间的关系,并证明了我们算法所需的迭代次数与网络谱隙成反比例关系。
May, 2010
本论文提出基于自动微分的竞争镜像下降(CMD):一种用于解决多智能体优化问题的通用方法。通过添加拉格朗日乘数,简化约束集并获得相关的 Bregman 势函数,通过求解全局问题的正则双线性近似的 Nash 均衡来获得智能体的移动方向,并使用 Bregman 势函数诱导的对偶几何来获得下一次迭代。
Jun, 2020
该研究探讨了三家在线凸优化算法家族:follow-the-proximally-regularized-leader(FTRL-Proximal)、正则化双平均(RDA)和组合目标镜像下降。研究证明了所有这些算法都是通用 FTRL 更新的实例。此外,通过使用紧凑的表示方法,文中还提出了一种更好的算法性能估计方法,在真实数据集上展现出了更好的性能。
Sep, 2010
我们研究了解决度量空间中的极小 - 极大问题的两种变体的镜像下降 - 上升算法:同时和顺序。在满足凸凹性和支付函数相对平滑性的假设下,我们通过平测度上合适的 Bregman 散度定义,展示了收敛速度到混合纳什均衡的大小,以 Nikaido-Isoda 误差为度量,对于同时和顺序的方案分别为 O (N^(-1/2)) 和 O (N^(-2/3)),这与相关有限维度算法的最新结果一致。
Feb, 2024