- 对称锥体上的在线凸优化的乘法更新
对在线凸优化问题进行研究,采用对称锥中一对称切片的投影无关算法 Symmetric-Cone Multiplicative Weights Update (SCMWU),通过使用欧几里德 - 约旦代数的工具,将其等价于 Follow-the - 高效牛顿迭代算法实现无投影在线凸优化
本文提出了一种新的在线凸优化投影免费算法,并通过利用牛顿迭代的稳定性来计算逆海森矩阵以获得具有最先进遗憾边界的新的高效算法。
- 加速拟牛顿近端外推算法:用于平滑凸优化的更快速率
本文提出了一种加速的拟牛顿近端外推(A-QPNE)算法来解决无约束光滑凸优化问题,证明了该方法能够实现收敛速度,并且通过蒙特罗 - 斯维特加速框架的变种来构建这个方法,并采用在线学习方法更新 Hessian 矩阵的近似,这个方法在一定范围内 - Mechanic: 一种学习速率调整器
本文提出了一种名为 Mechanic 的技术,用于自动调整任何基本优化算法和调度的学习率比例因子,该技术不仅提供了实现相似目标的最新理论降低的实用实现,而且在各种大规模的深度学习任务中都进行了严格的评估,在某些问题上,相比手动调整学习率,M - 无 Lipschitzness 和 Smoothness 在线组合优化的数据相关上界
本文介绍了在线组合优化中首个基于数据的小损失和渐变性遗憾界,并提出了相应算法实现,可在投资选择数目较多的情况下,拥有亚线性的遗憾率,并在某些情况下具有对数遗憾率。遗憾界是通过对对数损失的新光滑性特征、对遵循正则化领导者(FTRL)的本地基于 - 任意延迟的非平稳在线凸优化
研究了非平稳环境下具任意延迟的在线凸优化问题,提出了一个简单的算法 DOGD,通过运用多个学习率的 DOGD,并跟踪最佳 one 的延迟性能,将动态遗憾边界降至 O (根号下 d*T*(P_T+1)) 和 O (根号下 S (1+P_T)) - 无投影在线随机约束凸优化
本研究提出了一种新的不需要投影的算法框架来解决在线凸优化问题,该算法框架具有较好的性能表现并可处理多种约束情况。
- MM在线凸优化算法(无内存限制)
本文提出了一个新的在线凸优化框架,能够利用过去的决策历史对当前损失进行建模,并引入了 “p 有效内存容量” 来量化过去决策对当前损失的最大影响。在此框架下,证明了一些政策遗憾的较好上界,并展示了该框架对于各种在线学习任务的适用性。
- ICML关于私人在线凸优化:在 $l_p$ 几何和高维情境赌徒中的最优算法
研究了使用差分隐私保护的在线随机凸优化问题,提出了一种具有递归梯度的私有在线 Frank-Wolfe 算法,可在线性时间内实现最优超额风险,并证明递归梯度的方差缩减结果在非平稳场景下也有理论保证。同时,该算法也被扩展到 p=1 的情况,可实 - 基于梯度算法的平滑在线凸优化中的预测利用
本研究考虑了具有时变阶段成本和附加切换成本的在线凸优化问题, 提出了一种名为 Receding Horizon Inexact Gradient (RHIG) 的基于梯度的在线算法来改善其性能,该算法只考虑最多 $W$ 步预测,以避免长期预 - MM不依赖利普希茨连续性的遗憾界:相对利普希茨损失下的在线学习
本研究考虑在线凸优化问题的相对 Lipschitz 收敛性和相对强凸性,扩展了已知的算法在相对设置下的遗憾界,特别是基于正则聚类领导者算法和在线镜像下降算法的算法,同时将这些结果进一步扩展到具有额外正则化的算法。
- AAAI预测性布莱克韦尔可达性加速游戏求解:联接遗憾匹配与镜像下降
本文提出了预测 Blackwell 可达性算法的概念,基于在线凸优化的后悔最小化算法,得到了针对多次博弈问题的多种算法,并在 18 个经典的零和博弈模型上的实验中取得了优秀的效果。
- 凸光滑函数的动态遗憾
本文提出了一种在线凸优化算法,该算法在非稳态环境中表现出优异的动态后悔表现,通过充分利用流畅性条件,能够在动态后悔中代替对 T 的依赖,而采用问题相关的数量:损失函数的梯度变化、比较序列的累积损失和前两个 term 的最小值,从而使问题的复 - AAAI约束在线凸优化的梯度变差限制
本文研究带复杂约束条件下在线凸优化问题,提出了一种基于镜像投影算法的新算法,可以在任何范数空间中实现低后悔和低约束违反度。
- ICML在线镜像下降和对偶平均:在动态情况下保持步伐
本文提出了一种简单的 OMD 算法技巧 - 稳定化,以动态学习率的情况下避免 OMD 线性遗憾,通过在经典 OMD 收敛分析下进行调整来获得与 DA 相同的性能保证。
- 在线学习中的 Lipschitz 与比较器规范适应性
研究了在无界设置下的在线凸优化,提出了无需参数和无需缩放的算法,并将其用于线性模型的在线预测。
- AAAI在线学习的投影二次回归
本文提出了一种投影二次回归(PQR)模型,它可以捕捉重要的二阶特征信息,是一个凸模型,可以实现 OCO 的要求并实现全局最优解,并且具有与线性模型相同的时间复杂度和空间复杂度。
- 具有随机递归梯度的高效无投影在线方法
本文提出了两种有效的投影不等式在线方法 ORGFW 和 MORGFW 来解决随机和对抗性在线凸优化问题,并采用递归梯度估计器达到了优秀的后悔度边界(至多对数因子),同时具有低的每次迭代计算成本。实验结果表明,在效率方面,与现有技术相比,所提 - 随机约束下的在线原始 - 对偶镜像下降
本文研究具有随机约束的在线凸优化问题,提出了一种新的原始 - 对偶镜像下降算法,其可以在不需要 Slater 条件的情况下达到与先前的方法相似的性能并允许等式约束。
- 自适应基于梯度的元学习方法
本文提出了一种理论框架来设计和理解实用的元学习方法,该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习,为统计学习 - to-learn 的转移风险提供更加精确的界限,并在任务环境动态