Jun, 2022

通过继承表征进行离散状态 - 行动抽象化

PDF
TL;DR本文提出了一种自动学习基于状态抽象的离散化模型，命名为 Discrete State-Action Abstraction (DSAA)，可以有效地解决强化学习中的任务，并且对探索方案的影响进行了模拟和验证。
发现论文，激发创造
  • 具备继承特性的选项传输和 SMDP 抽象

    本文研究了强化学习中的联合时间和状态抽象，其中采用继承特征的新颖抽象机制，使得抽象选项可以在不同环境下转移并进行有效规划。

    Oct, 2021

  • 学习抽象世界模型用于值保持规划和选项

    通过学习抽象 MDP（Markov 决策过程）来提高智能体在多任务环境中的决策和学习效率。

    Jun, 2024

  • 样本高效强化学习的动态抽象表示学习

    本文介绍了一种新的从上至下的方法，用于在执行强化学习的同时构建状态抽象，动态计算一个基于 Q 值分散的抽象，结果表明，这种方法自动学习细调问题的抽象，具有较强的样本效率，并使强化学习代理明显优于现有方法。

    Oct, 2022

  • 针对连续动作空间的表示学习有助于有效的策略学习

    本文提出了一种在潜在状态和动作空间中进行高效策略学习的方法，扩展了状态表示以达到更好的策略泛化能力，同时通过将整个学习任务划分为无监督学习和强化学习来减小了训练规模。最后，在 MountainCar、CarRacing 和 Cheetah 实验中证明了该方法的有效性。

    Nov, 2022

  • MAXQ 层次强化学习中的状态抽象

    本篇论文研究了具有时间抽象的层次强化学习中的具有状态抽象的学习方法，证明了 MAXQ-Q 学习算法在一定的条件下收敛，并通过实验表明了状态抽象对 MAXQ-Q 学习的成功应用十分重要。

    May, 1999

  • 深度强化学习的马尔可夫状态抽象学习

    该研究提出了一种学习马尔科夫状态抽象表示的新方法，结合逆向模型估计和时态对比学习，可以提高强化学习中的样本效率。

    Jun, 2021

  • 连续状态和行动空间中强化学习的几何学

    使用几何镜头建立对连续状态和动作空间的理论理解，以证明可达状态的低维流形的维度最多为动作空间维度加一，并且通过使用 DDPG 的深度神经网络训练出的低维度表示策略学习表现良好。

    Dec, 2022

  • 如何在 Q 学习中对连续状态 - 动作空间进行离散化：一种符号控制方法

    基于符号模型的新型 Q 学习方法通过分析连续状态 - 动作空间的挑战，并利用符号模型表示行为关系，提出了一种解决方案，该方案能够获得编码最优策略的两个 Q 表，并探讨了空间抽象参数与 Q 值损失之间的相关性，并通过两个案例研究展示了该方法的工程应用价值。

    Jun, 2024

  • 通过即时状态条件的动作抽象实现高效蒙特卡罗树搜索

    基于组合结构的行为抽象可以提高蒙特卡洛树搜索在具有复杂动作空间问题上的效率。本研究通过学习一个潜在的动态模型和辅助网络，构建了一种状态条件行为抽象方法，用于减少搜索空间并提高采样效率，并在实验中展示了其比传统 MuZero 方法更好的采样效率。

    Jun, 2024

  • 连续控制中的状态抽象学习与迁移

    使用简单的算法和良好的表示能否解决困难的强化学习问题？本文回答了这个问题，并提出了一种将连续状态空间抽象为离散的学习算法，将其转移到未知问题中以实现有效的学习，并证明学习到的抽象保持有界的值损失，实验证明该抽象使 tabular Q-Learning 在未知任务中有效学习。

    Feb, 2020