Oct, 2012

稀疏 Q 学习和镜像下降

PDF
TL;DR该论文探讨了基于在线凸优化的强化学习的新框架，特别是镜像下降及相关算法，提出了一种新的类似于梯度下降的迭代方法。其中，基于不同 Bregman 散度的抛物线梯度强化学习法比常规 TD 学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法，相比之前基于二阶矩阵方法的方法，在寻找一个 l1 正则化 Bellman 方程的稀疏不动点时具有显著的计算优势。
reinforcement learningonline convex optimizationmirror descentproximal-gradient based temporal-difference methodssparse mirror-descent reinforcement learning methods
发现论文，激发创造
  • 分布式镜面下降算法用于在线复合优化

    本文提出了基于近似镜像下降的一类在线分布式优化算法，以 Bregman 距离为测量函数，包括欧几里得距离作为特例，考虑两种标准信息反馈模型，并通过在线分布式正则化线性回归问题的仿真结果验证了算法的性能。

    Apr, 2020

  • 可预测序列的优化、学习和游戏

    提供了乐观镜面下降算法的几个应用：将其用于线下优化中的镜像近端算法、扩展到 Holder 平滑函数、并将结果应用于鞍点问题；将其用于有限零和矩阵博弈中，为两个强耦合玩家提供最小化最大值均衡的渐进速率 O ((log T)/T)；再考虑问题的部分信息版本并将结果应用于凸规划，展示了近似最大流问题的简单算法。

    Nov, 2013

  • 竞争镜像下降

    本论文提出基于自动微分的竞争镜像下降（CMD）：一种用于解决多智能体优化问题的通用方法。通过添加拉格朗日乘数，简化约束集并获得相关的 Bregman 势函数，通过求解全局问题的正则双线性近似的 Nash 均衡来获得智能体的移动方向，并使用 Bregman 势函数诱导的对偶几何来获得下一次迭代。

    Jun, 2020

  • 带正则化的政策镜像下降算法：具有线性收敛的广义框架

    提出了一种广义的策略镜像下降算法 (GPMD) 以解决正则化强化学习问题，具有线性收敛特性，支持一般类别的凸正则化器，并在数值实验中得到验证。

    May, 2021

  • 强化学习、量化响应均衡和二人零和博弈的统一方法

    研究磁镜下降算法作为均衡求解器和两人零和游戏强化学习的方法，并证明其在多种场景中都可以取得优秀的性能表现，包括在可扩展形式下的均衡求解和在表格设置下的竞争性结果与 CFR 相比。

    Jun, 2022

  • 一种广义的在线镜像下降算法及其在分类和回归中的应用

    本文提供了一种新的方法，将在线预测算法在线镜像下降推广到具有通用更新的时间变化正则化器，并演示了该方法的强大功能。

    Apr, 2013

  • 镜像下降策略优化

    提出了一种称为镜像下降策略优化（Mirror Descent Policy Optimization，MDPO）的高效强化学习算法，MDPO 是一个迭代更新策略的算法，其目标函数由标准强化学习目标的线性化和一个限制连续策略之间接近的接近项组成，是由 MD 原则推导而来的，同时通过采取多个梯度步骤进行逼近。

    May, 2020

  • 随机约束下的在线原始 - 对偶镜像下降

    本文研究具有随机约束的在线凸优化问题，提出了一种新的原始 - 对偶镜像下降算法，其可以在不需要 Slater 条件的情况下达到与先前的方法相似的性能并允许等式约束。

    Aug, 2019

  • 用于复合非强凸优化的快速随机镜像下降算法

    本篇论文提出了一种加速随机镜像下降法来解决平均函数和非强凸函数的问题，绕过了常见的小二次正则化降低性能的方法，可以更好地解决非强凸情况。

    May, 2016

  • 针对强化学习的政策镜面下降算法：线性收敛、新采样复杂度和广义问题类

    本文提出了新的政策镜反射（PMD）方法，用于解决具有强凸性或一般凸性正则化的强化学习（RL）问题，并使用不同的采样方案建立了这些问题的随机对应物。我们证明了 PMD 方法在快速收敛到全局最优解方面的线性速率，提出了计算这些正则化梯度的复杂度，并展示了此正则化的应用性。

    Jan, 2021