ICMLMay, 2024

可配置镜像下降：决策制定的统一化

PDF
TL;DR这篇论文旨在探索是否能开发一种单一算法以解决所有决策问题的分类。它通过引入广义镜像下降（GMD）、可配置镜像下降（CMD）和 GameBench 构建等方法来应对不同决策问题的挑战，并通过广泛的实验验证 CMD 在各个维度上对决策问题进行了具有竞争力的表现。
decision-makingalgorithmmirror descentcategoriesgamebench
发现论文，激发创造
  • 竞争镜像下降

    本论文提出基于自动微分的竞争镜像下降（CMD）：一种用于解决多智能体优化问题的通用方法。通过添加拉格朗日乘数，简化约束集并获得相关的 Bregman 势函数，通过求解全局问题的正则双线性近似的 Nash 均衡来获得智能体的移动方向，并使用 Bregman 势函数诱导的对偶几何来获得下一次迭代。

    Jun, 2020

  • 广义形式博弈中的本地化和自适应镜像下降

    我们研究了如何在带有轨迹反馈的零和不完全信息博弈中学习 ε- 最优策略，通过应用自适应在线镜像下降算法，在信息集中使用逐渐减小的学习率和正则化损失，我们证明了该方法在高概率下能够保证收敛速度为～T^(-1/2)，并且在理论上的最佳学习率和采样策略选择时，对于游戏参数的依赖性接近最优。为了实现这些结果，我们扩展了对 OMD 稳定性的概念，允许随时间变化的凸增量正则化。

    Sep, 2023

  • 镜像下降统一控制隐式正则化方法

    本文使用镜像下降方法来解决深度神经网络优化算法中的隐含正则化问题。

    Jun, 2023

  • 多智体决策的复杂性：从博弈中的学习到部分监控

    本文研究了多智能体强化学习中的样本效率、均衡计算和统计复杂性等问题，提出了一系列新的结构性结果，并阐述了决策时附带隐藏报酬的统计复杂度。

    May, 2023

  • 统一镜像下降和对偶平均

    本文介绍并分析了一族新的一阶优化算法，它对镜像下降和对偶平均进行了推广和统一，并定义了新的约束优化算法，结合了镜像下降和对偶平均的优点。我们的初步模拟研究表明，在某些情况下，这些新算法显著优于现有方法。

    Oct, 2019

  • 模仿就是全部吗？双阶段训练下的广义决策制定

    DualMind 使用新颖的 “双阶段” 训练策略来解决现有方法所提出的挑战，可以处理跨领域，场景和具体体现的任务，并在 MetaWorld 和 Habitat 上进行了广泛的评估和实验，其表现优于其他广义智能体，MetaWorld 上成功率可达 90% 以上的 30 个任务。

    Jul, 2023

  • 使用在线镜像下降方法扩展均值场博弈

    本研究使用在线镜像下降法（OMD）解决均值场游戏（MFG）中均衡计算的扩展性问题，在一系列合理的单调性假设下，证明连续时间 OMD 可收敛于纳什均衡，这一理论结果良好地扩展至多人口游戏和涉及共同噪声的设置。经过全面的实验研究，OMD 优于传统算法，如虚拟游戏（FP），以前所未有的速度解决了数十亿个状态的 MFG 实例。这项研究在大规模多代理和多人口游戏的学习方面确立了最新的状态。

    Feb, 2021

  • 带正则化的政策镜像下降算法：具有线性收敛的广义框架

    提出了一种广义的策略镜像下降算法 (GPMD) 以解决正则化强化学习问题，具有线性收敛特性，支持一般类别的凸正则化器，并在数值实验中得到验证。

    May, 2021

  • 一种广义的在线镜像下降算法及其在分类和回归中的应用

    本文提供了一种新的方法，将在线预测算法在线镜像下降推广到具有通用更新的时间变化正则化器，并演示了该方法的强大功能。

    Apr, 2013

  • 强化学习、量化响应均衡和二人零和博弈的统一方法

    研究磁镜下降算法作为均衡求解器和两人零和游戏强化学习的方法，并证明其在多种场景中都可以取得优秀的性能表现，包括在可扩展形式下的均衡求解和在表格设置下的竞争性结果与 CFR 相比。

    Jun, 2022