CQM：基于量化世界模型的课程强化学习

Oct, 2023

CQM：基于量化世界模型的课程强化学习

CQM: Curriculum Reinforcement Learning with a Quantized World Model

Seungjae Lee, Daesol Cho, Jonghae Park, H. Jin Kim

TL;DR我们提出了一种新的课程方法，通过自动定义语义目标空间以及在其上提出课程目标来缓解以往方法在高维度空间中生成课程目标时遇到的挑战，并改善课程的可伸缩性。我们通过向量量化变分自动编码器(VQ-VAE)将连续观测离散化，并通过图形恢复离散观测之间的时序关系。同时，我们提出了考虑不确定性和时间距离的课程目标，这些目标能够收敛到自动组合的目标空间的最终目标。我们证明了该方法仅仅通过原始目标示例就能在未知环境中实现高效探索，且在各种目标达成任务中，甚至使用自我中心视觉输入时，该方法在数据效率和性能上都优于最先进的课程增强学习方法。

Abstract

Recent curriculum reinforcement learning (RL) has shown notable progress in solving complex tasks by proposing sequences of surrogate tasks. However, the previous approaches often face challenges when they generate curriculum goals in a high-dimensional space. Thus, they usually rely o

发现论文，激发创造

基于精度的课程学习在深度强化学习中的应用

本文研究了一种基于精度要求自适应选择的自动课程学习的新形式。使用基于Deep Deterministic Policy Gradient算法的强化学习代理和解决Reacher环境，我们首先展示了随机采样不同精度要求训练的代理比一直很精确的代理学习更加高效；然后，我们展示了基于局部能力进度的自适应精度要求选择可以自动生成一个难度不断递增的课程，从而提高学习效率。

Jun, 2018

强化学习中的课程表政策学习

本文研究课程学习在强化学习中的应用，并针对多个传递学习算法扩展已有的课程设计方法，通过学习MDP（Markov Decision Process)过程中的课程策略，得出可以用于训练代理人的课程，进而实现更快或同等方法的学习效率。

Dec, 2018

课程学习中任务排序的优化框架

本文研究了如何通过选择不同目标函数，使用课程学习在强化学习中优化任务序列，提高初始性能，减少探索过程中的次优动作，并发现更好的策略。

Jan, 2019

深度强化学习的自动课程学习：简要调查

本文介绍了自动课程学习（ACL）的相关文献，并对当前状态进行了概述，旨在促进现有概念的交叉和新思想的出现。ACL是深度强化学习成功的中坚力量，可用于改善样本效率和渐进性能，组织探索，鼓励泛化或解决稀疏奖励问题，等等。

Mar, 2020

通过价值分歧进行自动课程学习

通过提出自动课程设计和目标建议模块，来提高强化学习中的多任务目标采样效率，并在机器人和导航任务中展示了比现有方法更好的性能。

Jun, 2020

通过不确定性和时间距离感知的课程目标生成的以结果为导向的强化学习

本文提出了一种针对增强学习的不确定性和时间距离感知课程目标生成方法，通过解决二分图匹配问题，为课程提供精确的指导，从而更好地解决了先前课程RL方法中存在的问题，并在数量和质量上显著优于这些方法。

Jan, 2023

自动机导向下的强化学习智能体课程生成

提出了AGCL，一种基于确定性有限状态自动机（DFA）和面向对象马尔可夫决策过程（OOMDP）表示法的自动生成课程的方法，该方法在格子世界和基于物理仿真的机器人领域中的实验表明，AGCL 产生的课程在时间阈值性能上比最先进的课程学习和自动机引导强化学习技术实现了性能的提高。

Apr, 2023

强化学习代理的近端课程

通过分析两个简单的学习场景，我们设计了一种叫做 ProCuRL 的课程策略，受到了教育概念中的“近发展区”（Zone of Proximal Development，ZPD）的启发。我们还提出了 ProCuRL 的实用变体，可在最小的超参数调整下直接与深度强化学习框架集成，从而有效地加速深度强化学习代理的训练过程。实验结果表明，与现有的基线相比，我们的课程策略在各种领域中都取得了较好的效果。

Apr, 2023

变分课程增强学习用于无监督技能发现

基于互信息的强化学习作为一种无需任务导向奖励函数的复杂技能自主检索方法已被提出，但由于训练技能的顺序会在很大程度上影响样本效率，对于学习复杂技能仍具有挑战性。本文提出了一种名为变分课程强化学习（VCRL）的方法，将变分增强视为内在奖励函数的目标条件强化学习中的课程学习，并基于信息理论提出了一种无监督技能发现的新方法，称为值不确定性变分课程（VUVC）。我们证明，在一定的正则条件下，与均匀课程相比，VUVC能够加快访问状态熵的增加。我们通过复杂导航和机器人操作任务验证了我们方法的有效性，同时以零次设定下的真实世界机器人导航任务为例，证明了通过我们方法发现的技能能够成功完成任务，并且将这些技能与全局规划器相结合可以进一步提高性能。

Oct, 2023

深度强化学习中具有任务关联的近端课程

基于近发展区概念，我们提出了一种名为ProCuRL-Target的新型课程计划，它可以在复杂任务的目标分布上平衡选择任务的需要，通过利用任务之间的相关性推动代理的学习，从而加速深度强化学习代理的训练过程。

May, 2024