Mar, 2016

动态环境下的在线优化：强凸问题改进遗憾率

PDF
TL;DR本文提出一种基于在线梯度下降方法的动态调参算法，以降低动态遗憾（dynamic regret），进而优化强凸且未知动力学的损失函数。
发现论文，激发创造
  • 凸光滑函数的动态遗憾

    本文提出了一种在线凸优化算法，该算法在非稳态环境中表现出优异的动态后悔表现，通过充分利用流畅性条件，能够在动态后悔中代替对 T 的依赖，而采用问题相关的数量：损失函数的梯度变化、比较序列的累积损失和前两个 term 的最小值，从而使问题的复杂度自适应问题的困难程度，即在简单问题上使界限更紧，同时保证了最坏情况下相同的界限。

    Jul, 2020

  • 在线凸规划的动态模型和跟踪遗憾度

    本研究提出了一种新的在线凸优化方法，利用候选动态模型家族建立新的跟踪后悔界，并通过追踪和基于模型的预测相结合，相对于高变化比较序列生成低的后悔。

    Jan, 2013

  • 动态环境下的自适应在线学习

    本文研究动态环境下的在线凸优化问题，通过提出一种自适应学习的方法 Ader，利用专家跟踪算法结合一组专家来最小化动态遗憾，并扩展到可用于表征比较器的动态模型序列的情形。

    Oct, 2018

  • 追踪缓慢移动的预知者：真实梯度和噪声梯度下的在线学习最优动态遗憾

    本研究关注在线凸优化的动态遗憾，通过探索称为路径变化的时间变化机制，提出了一些动态遗憾改进的变差上限，并证明他们在已有的下限条件下是最优的。

    May, 2016

  • 非平稳在线学习的高效方法

    优化非稳态动态损失和自适应损失的有效方法涉及非稳态在线学习的减少投影和梯度查询次数，在参数自由在线学习的基础上进行了非平凡的改进。

    Sep, 2023

  • 强凸损失理论在适当在线学习中的最优动态遗憾及其扩展

    本文研究了强凸损失函数下的动态遗憾最小化框架，通过利用 KKT 条件所施加的许多新约束条件，我们回答了 Baby 和 Wang 2021 年提出的一个开放性问题，并展示了强适应算法在适当的学习设置下可以同时针对任何比较序列达到几乎最优的动态遗憾。此外，在处理非平滑损失和改善回避维度依赖性等方面，我们还取得了 Baby 和 Wang 2021 年工作的其他改进，并针对 exp-concave 损失和一个 L∞受限决策集的特殊情况导出了几乎最优的动态遗憾率。

    Jan, 2022

  • 动态遗憾的近端在线梯度是最优解

    本文研究了在线学习中基于动态后悔度的参考解决方案的变化以及静态后悔度参考解决方案的时间保持不变的差异，证明了基于在线梯度的近端算法是动态后悔度的最优算法。

    Oct, 2018

  • 动态环境下的在线线性回归与折扣

    我们开发了一种用于在线线性回归的算法，即使在完全没有先验知识的情况下，也能实现最佳的静态和动态遗憾保证。

    May, 2024

  • 强凸平滑函数动态遗憾的改进分析

    本文介绍了一种改进的 OMGD 算法动态遗憾值分析方法，证明了在一般的环境非静态情况下，该算法的遗憾值可以达到最好的三种保证之一，比以前的结果更紧凑。

    Jun, 2020

  • 在线控制的对数后悔

    本研究中，我们研究了在线控制下的线性动态系统在拥有转移动态知识的拥有敌意的变化强凸成本函数下的最优遗憾界限，并提出了在线梯度下降和在线自然梯度两种不同且高效的迭代方法来实现遗憾边界小而有效。

    Sep, 2019