Oct, 2019

具有随机递归梯度的高效无投影在线方法

PDF
TL;DR本文提出了两种有效的投影不等式在线方法 ORGFW 和 MORGFW 来解决随机和对抗性在线凸优化问题，并采用递归梯度估计器达到了优秀的后悔度边界（至多对数因子），同时具有低的每次迭代计算成本。实验结果表明，在效率方面，与现有技术相比，所提出的方法更加高效。
发现论文，激发创造
  • 高效牛顿迭代算法实现无投影在线凸优化

    本文提出了一种新的在线凸优化投影免费算法，并通过利用牛顿迭代的稳定性来计算逆海森矩阵以获得具有最先进遗憾边界的新的高效算法。

    Jun, 2023

  • 基于随机梯度的无需投影的在线优化：从凸性到次模性

    该论文提出了一种新颖的元 Frank-Wolfe 算法及其简化版 One-Shot-Frank-Wolfe，用于对在线优化进行全局和子模最优解的快速求解。其方法基于梯度下降实现，通过随机梯度估算和孪生逼近算法来降低收敛难度。

    Feb, 2018

  • 更快的无投影在线学习

    研究了在线学习问题中的限制，提出了基于 Follow-the-Perturbed-Leader 的投影法之外的高效项目方法，其保证了平滑成本函数和每个迭代中一个线性优化计算的一般在线凸优化中的 $T ^ {2/3}$ 后悔界。

    Jan, 2020

  • 无投影在线随机约束凸优化

    本研究提出了一种新的不需要投影的算法框架来解决在线凸优化问题，该算法框架具有较好的性能表现并可处理多种约束情况。

    May, 2023

  • Riemannian 无投影在线学习

    本文介绍了在曲面上进行在线几何凸优化时如何通过投影自由算法，在有分离预言机或线性优化预言机的情况下实现亚线性后悔保证。

    May, 2023

  • 通过 Frank-Wolfe 优化实现具有有界动态遗憾的算法和控制应用的高效在线学习

    本文提出了一种基于 Online Convex Optimization with Memory 与 Frank-Wolfe 算法的无投影元基学习算法，可以实现投影 - 免费的在线学习，应用于自适应时变环境控制等领域。

    Jan, 2023

  • 改进的无投影在线连续子模最大化

    本文提出了一种投影 - 无关算法 POBGA，通过在线提升梯度上升算法、不可行的投影技术和阻塞技术的新颖组合，以及分散设置的变体，有效地缩短了由先前算法 Mono-FW 降低的后悔下限，并将通信复杂度从 O（T）降低到 O（√T）。

    May, 2023

  • 无投影在线学习

    本论文提出采用 Frank-Wolfe 技术的高效在线学习算法，避免了投影步骤，同时在在线凸优化方面获得了一系列遗憾界，特别是在随机在线平滑凸优化方面。此外，我们的算法具有参数自由性和产生稀疏决策的优点，并将算法应用到协作过滤的计算密集型应用中，并在标准数据集上显示出理论上的改进。

    Jun, 2012

  • 无投影赌博凸优化改进遗憾界

    本文提出一种基于条件梯度法的 projection-free 的算法，通过线性优化预测每一轮的动作并达到了 $O (T^{3/4})$ 的预期最小化损失 (expected regret)。

    Oct, 2019

  • 具有次指数噪声的无参数在线凸优化

    研究了涉及亚指数噪声的无约束在线凸优化问题，设计了一种新的巴拿赫空间参数自由 OCO 算法 BANCO（Betting on Noisy Coins），证明了其具有最优的性能表现，并将其应用于局部随机梯度下降算法以及多次对数定律的应用。

    Feb, 2019