Nov, 2013

可预测序列的优化、学习和游戏

PDF
TL;DR提供了乐观镜面下降算法的几个应用：将其用于线下优化中的镜像近端算法、扩展到 Holder 平滑函数、并将结果应用于鞍点问题；将其用于有限零和矩阵博弈中，为两个强耦合玩家提供最小化最大值均衡的渐进速率 O ((log T)/T)；再考虑问题的部分信息版本并将结果应用于凸规划，展示了近似最大流问题的简单算法。
optimistic mirror descentmirror proxholder-smooth functionsexponential weights algorithmmax flow problem
发现论文，激发创造
  • 广义形式博弈中的本地化和自适应镜像下降

    我们研究了如何在带有轨迹反馈的零和不完全信息博弈中学习 ε- 最优策略，通过应用自适应在线镜像下降算法，在信息集中使用逐渐减小的学习率和正则化损失，我们证明了该方法在高概率下能够保证收敛速度为～T^(-1/2)，并且在理论上的最佳学习率和采样策略选择时，对于游戏参数的依赖性接近最优。为了实现这些结果，我们扩展了对 OMD 稳定性的概念，允许随时间变化的凸增量正则化。

    Sep, 2023

  • 稀疏 Q 学习和镜像下降

    该论文探讨了基于在线凸优化的强化学习的新框架，特别是镜像下降及相关算法，提出了一种新的类似于梯度下降的迭代方法。其中，基于不同 Bregman 散度的抛物线梯度强化学习法比常规 TD 学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法，相比之前基于二阶矩阵方法的方法，在寻找一个 l1 正则化 Bellman 方程的稀疏不动点时具有显著的计算优势。

    Oct, 2012

  • 鞍点问题中的乐观镜像下降：额外走 (梯度) 一英里

    本文研究了一类具有一致性属性的非单调问题中，优化镜像下降法（OMD）的收敛性和优化方式。分析表明，OMD 可以解决这些问题并推广了先前的结果，为建立凸凹博弈以外的收敛性提供了具体进展。在一系列 GAN 模型上的数值实验结果验证了分析的可行性。

    Jul, 2018

  • 稀疏性与曲率的改进乐观镜像下降算法

    本文研究了在线凸优化的一些新进展，特别是对于在稀疏、可预测序列和曲线损失等易于数据实例中进一步提高后悔界限的方法的统一处理。我们提出了一种自适应、乐观的更新规则，并解释了一种可以动态适应损失函数曲率的更新规则，并最终将这些结果扩展到了复合损失情形。

    Sep, 2016

  • 一种广义的在线镜像下降算法及其在分类和回归中的应用

    本文提供了一种新的方法，将在线预测算法在线镜像下降推广到具有通用更新的时间变化正则化器，并演示了该方法的强大功能。

    Apr, 2013

  • 马尔可夫链镜像下降在数据联合中的应用

    该研究提出了一种名为 MarchOn 的随机镜像下降的新版本，应用于联合学习的场景，通过分析该方法的新框架，获得了凸性、强凸性和非凸性损失函数的最佳收敛速度，最后通过实证研究验证了理论结果。

    Sep, 2023

  • 关于零和博弈的收敛策略探讨

    本文研究了学习动态的最后迭代收敛问题，并提供了新的结果和技术，其中包括一类游戏模型及其动态下的结果，以及通过遗憾分析得到的性质，证明了具有有界二阶路径长度，而且无论玩家使用不同算法和预测机制，也能实现 O（1 /sqrt（T））的速率和最优 O（1）的后悔界。同时证明了 OMD 要么接近纳什均衡，要么在效率上优于强韧价格，最后，对一般和连续的游戏模型也进行了探讨。

    Mar, 2022

  • 随机约束下的在线原始 - 对偶镜像下降

    本文研究具有随机约束的在线凸优化问题，提出了一种新的原始 - 对偶镜像下降算法，其可以在不需要 Slater 条件的情况下达到与先前的方法相似的性能并允许等式约束。

    Aug, 2019

  • 无悔学习中的最后迭代收敛：凸凹景观的约束极小极大优化

    本文研究了凸凹零和博弈问题，并提出了一种遵循在线学习框架的近似算法 Optimistic Multiplicative-Weights Update，在本地范围内表现出最后收敛性。

    Feb, 2020

  • 在线镜像下降的普适性

    对于一般的凸在线学习问题，我们证明镜像下降法总是可以实现（几乎）最优的遗憾保证。

    Jul, 2011