Jul, 2019

非静态环境下的臂匠凸优化

PDF
TL;DR探讨了分布不稳定的环境下，采用动态遗憾作为衡量标准的医生凸优化问题，并提出了一种新的算法，在不需要预知路径长度情况下，可以分别实现 $O (T^{3/4}(1+P_T)^{1/2})$ 和 $O (T^{1/2}(1+P_T)^{1/2})$ 的动态遗憾.
bandit convex optimizationnon-stationary environmentsdynamic regretsequential decision-makingone-point and two-point feedback
发现论文，激发创造
  • 二阶方法在赌局优化和控制中的应用

    本文介绍了一种简单且实用的在线牛顿步骤算法，该算法在一类称为 κ- 凸的凸函数中具有最优（以时间长度衡量）的遗憾界，并且在包括线性、二次和广义线性模型在内的广泛实际损失函数中为最高效的已知方法。此外，我们研究了我们的二阶赌博算法在具有一定仿射结构的损失函数中适应在线凸优化，我们证明了延伸算法达到最优遗憾界，从而解决了在 gradu2020non 和 sun2023optimal 中提出的一个开放问题，即完全敌对噪声模型下的赌博 LQR/LQG 问题。最后，我们证明了 BCO 与（非仿射）内存的更一般问题更难，在光滑且二次损失的假设下，导出了一个 T^{2/3} 遗憾界的下界。

    Feb, 2024

  • 带有延迟反馈的强化学习优化中的改进后悔度

    我们研究了具有延迟反馈的强凸波段优化问题，通过精细地利用延迟波段反馈的阻塞更新机制，我们的算法改进了损失边界并将其与延迟设置下的传统波段梯度下降（BGD）算法相匹配。

    Feb, 2024

  • 无投影随机凸优化

    该论文提出了第一个计算有效的基于投影的算法来解决 Bandit 凸优化问题，并以各种问题（包括二次规划、组合优化和矩阵完成问题）上的实验结果证明了其性能。

    May, 2018

  • 无投影赌博凸优化改进遗憾界

    本文提出一种基于条件梯度法的 projection-free 的算法，通过线性优化预测每一轮的动作并达到了 $O (T^{3/4})$ 的预期最小化损失 (expected regret)。

    Oct, 2019

  • 学习在非稳态下进行优化

    介绍了一种新的非平稳线性随机赌博算法，应用于动态定价和广告分配领域，并使用滑动窗口 UCB 算法实现了最优动态后悔上界。

    Oct, 2018

  • 非平稳线性赌臂问题的简单解法

    本文研究了非平稳线性臂问题，提出了一种基于重启策略的算法以平衡利用和探索，并证明了该算法的动态遗憾值，同时还解决了现有算法中的严重技术缺陷问题。

    Mar, 2021

  • 一种风险厌恶的非平稳随机多臂赌博机框架

    提出了一种在非平稳环境中运行的自适应风险感知策略框架，该框架结合了文献中普遍存在的各种风险度量标准，将多臂赌博算法的多个系列映射到风险感知的设置中，并将重启贝叶斯在线变点检测算法和（可调节的）强制探索策略结合在一起，以检测本地（针对每个臂）的切换，并提供有限时间的理论保证和渐进性的损失界限，性能在合成和现实环境中均优于现有状态下的技术，并在风险感知和非平稳性方面高效执行。

    Oct, 2023

  • 非平稳环境下高效应对背景干扰的 Bandit 算法

    本研究开发了多种高效的上下文推断算法，为非平稳环境提供了有效的解决方案，具有动态适应分布变化的能力，同时通过对各种标准回归进行分析，证明了在时间和空间成本上都能达到最优的效果。

    Aug, 2017

  • 一种广义 Borda 准则下最优和自适应的非平稳对决多臂老虎机算法

    对比辩论问题中实现严重非稳态度的底线非希望恶化情况下，解决 Borda 动态后悔上界问题的技术，揭示了 Condorcet 与 Borda 后悔目标在对比辩论问题中学习到严重非稳态度的根本差异。

    Mar, 2024

  • 具未知延迟的强盗在线学习

    该论文研究了多臂赌博问题和赌博凸优化问题中存在的未知延迟反馈问题，并开发了应对这种情况下的延迟探索、利用和指数迭代（DEXP3）和延迟赌博梯度下降（DBGD）算法。通过统一的分析框架，证明了 DEXP3 和 DBGD 算法的性能优越。

    Jul, 2018