Oct, 2023

波兰空间中熵正则化的马尔可夫决策过程的费歇 - 劳梯度流

PDF
TL;DR我们研究了具有 Polish 状态和动作空间的无限时段熵正则化马尔可夫决策过程的 Fisher-Rao 策略梯度流的全球收敛性。该流是策略镜像下降方法的连续时间模拟。我们建立了梯度流的全球适定性，并证明其指数级收敛到最优策略。此外，我们证明了该流在梯度评估方面的稳定性，从而揭示了以对数线性策略参数化的自然策略梯度流的性能。为了克服客观函数的非凸性和由熵正则化引起的不连续性引起的挑战，我们利用了性能差分引理和梯度与镜像下降流之间的对偶关系。
fisher-rao policy gradient flowglobal convergenceentropy-regularised markov decision processespolicy mirror descent methodexponential convergence
发现论文，激发创造
  • 线性规划的费舍尔 - 饶梯度流和状态 - 动作自然策略梯度

    研究了基于状态 - 动作分布的费舍尔信息矩阵的另一种自然梯度方法，并表明其具有线性收敛性和几何相关的错误估计，改善了现有结果。进一步扩展了这些结果，对于扰动费舍尔 - 劳梯度流和自然梯度流，展示了次线性收敛性以及近似误差的界限。

    Mar, 2024

  • 均场极限下带有熵正则化的 MDPs 策略梯度与神经网络逼近的收敛性

    本文研究了策略梯度在无限时间，连续状态和动作空间，及熵正则化的马尔可夫决策过程中的全局收敛性，并证明了在符合足够正则化的情况下，梯度流指数级收敛到唯一的稳态解。

    Jan, 2022

  • 连续时间与空间中的策略镜像下降熵退火

    熵正则化在政策优化中被广泛使用，有助于优化收敛，本文通过分析连续时间政策镜像下降动态，证明了固定熵水平下的动态指数级收敛到正则化问题的最优解，并通过调整熵正则化的衰减速率得出在离散和一般动作空间中的收敛速率。

    May, 2024

  • 关于策略梯度方法的收敛速度

    研究无限时间折扣马尔可夫决策问题，并以策略空间的直接参数化研究投影策略梯度方法和一般类别的策略镜像下降方法的收敛速度，包括不需要熵或其他强凸正则化的自然策略梯度方法及投影 Q - 下降方法，并分析近似策略镜像下降方法的收敛速度和样本复杂性估计。

    Jan, 2022

  • 离散折扣马尔可夫决策过程中熵正则化误差的尖锐估计

    研究了无限时间跨度的离散折扣马尔可夫决策过程在熵正则化下引入的误差，证明了该误差在逆正则强度下按指数级别减小，在加权 KL 散度和值函数中均具有问题特定的指数。通过使用自然策略梯度方法中常见的黎曼度量来计算熵正则化马尔可夫决策过程的解与未正则化奖励的梯度流之间的对应关系，提供了匹配我们的上界的下界，以多项式因子缩放。此外，我们还利用这种对应关系确定了梯度流的极大熵最优策略的极限，从而刻画了与 Kakade 梯度流所对应的自然策略梯度方法的时间连续版本的隐含偏差。我们利用这一结果表明，在熵正则化自然策略梯度方法中，整体误差随迭代次数的平方根呈指数级别衰减，从而改进了现有的亚线性保证。

    Jun, 2024

  • 有限马尔可夫链熵的梯度流

    本篇论文在有限集合上构建了概率测度集合的度量，并且研究了该度量下连续时间 Markov 链演化到熵梯度流的问题，与 Jordan 等人提出的 Wasserstein 梯度流热力学解释相似但不同，该度量是通过离散版本的 Benamou-Brenier 公式定义的。

    Feb, 2011

  • 熵正则化马尔科夫决策过程的统一视角

    提出一种针对 Markov 决策过程的熵正则化平均回报强化学习的一般性框架，通过使用条件熵来对联合状态 - 动作分布进行正则化，将一些先进的熵 - 正则化强化学习算法形式化为 Mirror Descent 或 Dual Averaging 的近似变体，并在简单的强化学习实验中展示了各种正则化技术对学习性能的影响。

    May, 2017

  • 高效多模态无导数贝叶斯推断与 Fisher-Rao 梯度流

    本文研究了精确抽样问题，特别关注涉及贝叶斯推断中的大规模逆问题的科学和工程应用。通过引入基于 Fisher-Rao 梯度流的动力学系统，提出了一种处理贝叶斯推断中的计算挑战的方法，并应用高斯混合逼近和 Kalman 方法以解决多模态分布的问题。所提出的方法可以高效地处理多模态分布，名为 Gaussian Mixture Kalman Inversion（GMKI）。在理论和数值实验中进行的多个实验证明了 GMKI 的有效性，包括概念验证、二维实例以及从正时间的解数据中恢复 Navier-Stokes 初始条件的大规模应用。

    Jun, 2024

  • 一种用于动作 - 状态熵正则化奖励最大化的通用马尔可夫决策过程形式化方法

    提供将约束优化问题转换为无约束凸优化问题的一般性双重函数形式主义，适用于动作和状态熵的任意混合，其中，动作熵和状态熵的纯形式被理解为混合的极限。这解决了前人关于动作、状态和混合熵正则化、纯探索和空间占用等问题的解决方案很麻烦的难题。

    Feb, 2023

  • 熵方案在最优输运和梯度流中的收敛性

    本文证明了熵正则化最优输运问题的 Gamma 收敛性，并证明了隐式步骤按熵正则化距离时收敛于原始梯度流，证明了压缩后的最优输运计划收敛于最优输运计划，这表明了压缩后的熵正则化最优输运计划在熵消失时收敛于最优输运计划。

    Dec, 2015