Dec, 2019

使用贝叶斯机器人反馈和未知转移学习对抗性 MDP

PDF
TL;DR本文提出了一种有效的算法，解决了具有未知转移函数、bandit 反馈和对抗损失的纪念有限时间段马尔可夫决策过程的学习问题，该算法能够以高概率实现 $\mathcal {\tilde {O}}(L|X|\sqrt {|A|T})$ 的后悔，其中 $L$ 为时间段，$|X|$ 为状态数，$|A|$ 为动作数，而 $T$ 为剧集数。
发现论文，激发创造
  • 同时学习具有已知转移的随机和对抗式连续决策问题

    研究如何使用该算法在 stochastic losses 和 adversarial losses 的情况下同时获得最佳表现，并提出了一种新的混合正则化器，它基于 Zimmert 等人（2019a、2019b）的最新工作 ，但对于对角线海森矩阵逆运算比较复杂。

    Jun, 2020

  • 改进的对抗性线性混合马尔可夫决策过程算法：带有赌博反馈和未知状态转移

    我们研究了采用线性函数逼近、未知转移和对抗性损失函数的强化学习算法在强化学习环境下。

    Mar, 2024

  • 具有延迟反馈的对抗性马尔可夫决策过程学习

    本文研究了具有未知转换和拥有无限制延迟反馈的分集式马尔可夫决策过程的在线学习，表现出基于策略优化的新算法，在完全信息反馈下实现了接近最优的高概率后悔情况，同时也是第一个考虑具有延迟反馈的 MDP 的后悔最小化设置。

    Dec, 2020

  • 面向具有悔恨的对抗性线性马尔可夫决策过程的最优化

    在线强化学习是研究的主题之一，尤其在线性 Markov 决策过程中使用了对抗性损失和强盗反馈，提出了两个算法以改善后悔性能。

    Oct, 2023

  • 学习具有未知转移和全信息反馈的对抗性低秩马尔可夫决策过程

    通过代表学习、探索和利用等相互交织的方法，本论文以非线性函数逼近和对抗性损失为基础，提出一种 POLO 算法，以实现对低秩马尔可夫决策过程 (Low-rank MDPs) 的次线性遗憾保证。

    Nov, 2023

  • 在对抗性线性混合 MDPs 中的无限制视野强化学习

    本文通过提出第一个无界时间步长多次对抗强化学习的策略搜索算法，使用方差 - 不确定性感知加权最小二乘估计器和基于占用度量的在线搜索技术，以解决探索和对抗性奖励所带来的挑战，证明算法在全信息反馈下具有 O ((d+log (|S|^2|A|)) sqrt (K)) 的后悔界，其中 d 是未知转移核线性参数化的已知特征映射的维数，K 是剧集数量，|S| 和 |A| 是状态和行为空间的基数。

    May, 2023

  • 具备对抗成本和已知转移的随机最短路径最小化遗憾

    研究用 Online Mirror Descent 框架的各种新技术，包括改进的多尺度专家算法、从一般随机最短路径到特殊无环情况的降低、倾斜的占用度量空间以及添加到成本估计器的新校正项等，以解决带对手成本的随机最短路径问题并同时减小学习者方差和最优策略的偏差。

    Dec, 2020

  • 最佳选择：具备未知转移的随机与对抗式序列决策问题（MDP）

    研究了通过 T 个 episode 学习马尔可夫决策过程中两全其美的问题，提出了一种新的变换，将方法从已知转移推广到未知转移下，并使得转移估计错误上界为多项式级别。

    Jun, 2021

  • 在对手成本和未知转移情况下以低遗憾寻找随机最短路径

    本文主要研究随机最短路径问题中的对手成本和未知转移，并提出了一种新的算法，可以在有限的次数内找到最优解，此外，我们还提出了一种新的算法，可以在特定情景下近似达到最优解。

    Feb, 2021

  • 可证明高效的对抗性不安静多臂赌博机强化学习：未知转换和赌博机反馈

    通过使用一种创新的偏置对抗性奖励估计器和低复杂度指标策略，我们开发了一种新颖的强化学习算法来解决具有未知转换函数和敌对奖励的周期性不安定性多臂赌博机问题，以最大化总的敌对奖励，并确保在每个决策阶段满足瞬时激活约束条件，我们的算法在我们所考虑的具有挑战性的设置中保证了约根号 T 的遗憾界，这在我们的所知范围内是首次实现的。

    May, 2024