Jan, 2023

线性函数逼近的对抗式MDP的精炼遗憾

HTML
PDF
TL;DR本文研究了在损失函数任意的情况下，对于线性近似的Q函数，提出了两种算法，可以在拥有模拟器的情况下使得损失最小值达到$\tilde{\mathcal O}(\sqrt K)$，并在无模拟器情况下实现了 $ ilde{\mathcal O}(K^{8/9})$ 的表现，改进了之前的表现
发现论文，激发创造
  • 对抗性马尔科夫决策过程中的在线凸优化

    本文研究了在线学习在没有循环的马尔可夫决策过程中的应用，提出了基于熵正则化方法实现的在线算法并给出了$\tilde{O}(L|X|\sqrt{|A|T})$的遗憾界，通过处理凸性能标准并改进之前的遗憾界，扩展了对抗性MDP模型，并可以更好地处理单个episode的损失。

    May, 2019

  • 使用贝叶斯机器人反馈和未知转移学习对抗性MDP

    本文提出了一种有效的算法，解决了具有未知转移函数、bandit反馈和对抗损失的纪念有限时间段马尔可夫决策过程的学习问题，该算法能够以高概率实现 $\mathcal{\tilde{O}}(L|X|\sqrt{|A|T})$ 的后悔，其中 $L$ 为时间段，$|X|$ 为状态数，$|A|$ 为动作数，而 $T$ 为剧集数。

    Dec, 2019

  • 使用线性函数逼近学习无限时间平均回报马尔可夫决策过程

    开发多种学习用于Markov Decision Processes的无限时间平均奖励设置和线性函数逼近的算法，使用乐观原则和假设MDP具有线性结构，提出具有优化的计算效率的算法，并展开了详细的分析，改进了现有最佳结果。

    Jul, 2020

  • 针对学习对抗线性混合MDP的接近最优策略优化算法

    本文研究含对手的强化学习中马尔科夫决策过程的学习问题，并提出了一种乐观的策略优化算法POWERS，该算法可以达到近似最小化的最优遗憾，并证明了该算法的上下界。

    Feb, 2021

  • 对抗MDP中的策略优化：通过扩张奖励实现更好的探索

    本研究提出了在政策优化中添加膨胀奖励以促进全局探索的解决方案，用于改进和推广了（在具有对抗性损失和赌徒反馈的情况下）几个历史上最先进的MDP设定，并得到了更优秀的结果，其中包括调整了先前已知的结果。

    Jul, 2021

  • 通过线性优化改进线性对抗MDPs的遗憾界

    本文探讨了如何用线性优化的方法解决在对抗环境下的马尔科夫决策过程问题，通过将特征映射设置到线性优化的赌臂中，得到了不需要访问转移模拟器的新技术，并在探索性的假设下，将线性对手马尔科夫决策问题的最优结果从 $ ilde{O}(K^{6/7})$ 提高到了 $ ilde{O}(K^{4/5})$。

    Feb, 2023

  • 无悔在线强化学习中的对抗损失和转换

    本篇论文提出了一种在线学习算法，能够同时应对恶意对手的损失函数和状态转移，并且随着对手的恶意程度而平稳地增加遗憾，同时采用黑盒约简方法达到无需先验知识的效果。此外，本文还对算法进行了改进，在生成损失的环境易于控制的情况下可以实现较小的遗憾。

    May, 2023

  • 面向具有悔恨的对抗性线性马尔可夫决策过程的最优化

    在线强化学习是研究的主题之一, 尤其在线性Markov决策过程中使用了对抗性损失和强盗反馈, 提出了两个算法以改善后悔性能。

    Oct, 2023

  • 通过策略优化缩小对抗性和随机MDP之间的差距

    通过使用APO-MVP算法和基于动态规划和黑盒在线线性优化策略的策略优化，本文在对手强 Markov 决策过程中提出了一个新的追悔边界概念，并且通过估计优势函数以避免典型的占有度量工具，实现了对状态和动作空间大小的优化，使得算法易于实现。

    Jul, 2024

  • 对抗性线性混合MDP的近优动态遗憾

    本文研究在未知转移和对抗性奖励下的线性混合MDP的动态遗憾问题，填补了目前方法在动态和非静态环境中的不足。我们提出了一种新算法，结合了基于占用测度的方法和基于策略的方法，以实现对动态环境和未知转移的有效处理。研究表明，该算法在动态遗憾方面达到了近优的性能，对相关领域具有重要的影响。

    Nov, 2024