Jun, 2018

不精确近端在线梯度下降算法的在线学习

PDF
TL;DR提出了一种名为近端在线梯度下降（OGD）算法，用于解决具有不同 iable loss 函数和不可区分正则化器的复合目标函数的非可区分动态优化问题，该算法适用于在线学习框架，并允许损失函数的梯度存在误差。
proximal online gradient descentnon-differentiable dynamic optimizationcomposite objective functionsubspace trackingonline learning framework
发现论文，激发创造
  • 动态遗憾的近端在线梯度是最优解

    本文研究了在线学习中基于动态后悔度的参考解决方案的变化以及静态后悔度参考解决方案的时间保持不变的差异，证明了基于在线梯度的近端算法是动态后悔度的最优算法。

    Oct, 2018

  • 自适应近端梯度方法用于凸优化

    本文探讨了凸优化中的两个基本一阶算法，梯度下降法（GD）和近端梯度法（ProxGD）。我们着重于通过利用光滑函数的局部曲率信息，使这些算法完全自适应。我们提出了基于观察到的梯度差异的 GD 和 ProxGD 的自适应版本，因此没有额外的计算成本。此外，我们证明了方法的收敛性，仅需假设梯度在局部利普希茨连续。此外，所提出的版本允许使用比 [MM20] 最初建议的更大的步长。

    Aug, 2023

  • 在线动态次模优化

    该研究提出了用于在线二元优化的一种新算法，基于子模函数实现，并在动态环境下添加普适约束，最后通过测试发现算法在快速响应能力和网络再配置等方面具有广泛的应用价值。

    Jun, 2023

  • 有限内存下降低方差的在线梯度下降法在核化对学习中的应用

    在线渐减梯度法是解决涉及训练示例对的损失函数机器学习问题中至关重要的方法之一。本研究提出了一种扩展到核在线成对学习的有限内存在线渐减梯度算法，同时改善亚线性遗憾。通过构建在线渐减梯度与格雷特之间的清晰关系，并使用存储有限数量的最新分层样本构建在线渐减梯度，我们的算法在真实数据集上的实验证明其优于核化和线性的在线成对学习算法。

    Oct, 2023

  • 带动态平均的核化成对学习的有限内存在线梯度下降

    在线梯度下降方法在配对学习中的应用以及引入具有子线性后悔界的轻量级在线梯度下降算法，该算法可适用于线性模型和核配对学习，通过集成随机傅里叶特征有效降低内核计算复杂度，并在离线和在线场景中优于内核和线性算法。

    Feb, 2024

  • 高维推断中的非凸损失在线随机梯度下降

    研究了 SGD 算法在高维参数空间下最简单在线版本的性能，通过对样本数量的阈值来确定参数估计的一致性，其阈值是多项式维度的，取决于信息指数。

    Mar, 2020

  • 动态环境下的在线优化：强凸问题改进遗憾率

    本文提出一种基于在线梯度下降方法的动态调参算法，以降低动态遗憾（dynamic regret），进而优化强凸且未知动力学的损失函数。

    Mar, 2016

  • 动态环境下的自适应在线学习

    本文研究动态环境下的在线凸优化问题，通过提出一种自适应学习的方法 Ader，利用专家跟踪算法结合一组专家来最小化动态遗憾，并扩展到可用于表征比较器的动态模型序列的情形。

    Oct, 2018

  • 强单调、指数凸激励博弈中具有梯度反馈的自适应双重最优无懊悔学习

    设计了一个全自适应的 OGD 算法，无需先验知识，具有强凸性和单调性参数；在单个代理设置中，该算法在强凸性下可以实现 O (log^2 (T)) 的遗憾，且在强单调性下可以使联合行动以速度 O (log^3 T / T) 最后迭代收敛到唯一的纳什均衡点。

    Oct, 2023

  • Riemannian 无投影在线学习

    本文介绍了在曲面上进行在线几何凸优化时如何通过投影自由算法，在有分离预言机或线性优化预言机的情况下实现亚线性后悔保证。

    May, 2023