ICLRJan, 2023

通过不确定性和时间距离感知的课程目标生成的以结果为导向的强化学习

PDF
TL;DR本文提出了一种针对增强学习的不确定性和时间距离感知课程目标生成方法，通过解决二分图匹配问题，为课程提供精确的指导，从而更好地解决了先前课程 RL 方法中存在的问题，并在数量和质量上显著优于这些方法。
reinforcement learningcurriculum rltemporal distanceoutcome-directedsample efficiency
发现论文，激发创造
  • 通过价值分歧进行自动课程学习

    通过提出自动课程设计和目标建议模块，来提高强化学习中的多任务目标采样效率，并在机器人和导航任务中展示了比现有方法更好的性能。

    Jun, 2020

  • 聚变多样性：基于结果导向的课程强化学习与分歧的超出分布

    提出了一种新的课程强化学习方法 D2C，该方法通过对目标条件分类器进行多样化，确保分类器对于来自分布之外的状态产生分歧，从而探索未知区域并定义一种任意目标条件内在奖励信号，从而产生适应性良好的中间目标序列，以自动探索并征服未知区域。实验结果表明，D2C 在定量和定性方面均优于之前的课程强化学习方法。

    Oct, 2023

  • CQM：基于量化世界模型的课程强化学习

    我们提出了一种新的课程方法，通过自动定义语义目标空间以及在其上提出课程目标来缓解以往方法在高维度空间中生成课程目标时遇到的挑战，并改善课程的可伸缩性。我们通过向量量化变分自动编码器 (VQ-VAE) 将连续观测离散化，并通过图形恢复离散观测之间的时序关系。同时，我们提出了考虑不确定性和时间距离的课程目标，这些目标能够收敛到自动组合的目标空间的最终目标。我们证明了该方法仅仅通过原始目标示例就能在未知环境中实现高效探索，且在各种目标达成任务中，甚至使用自我中心视觉输入时，该方法在数据效率和性能上都优于最先进的课程增强学习方法。

    Oct, 2023

  • 通过设置器 - 求解器交互自动生成课程

    研究探讨了如何在动态的环境下使用自动生成的任务大纲来改善智能体的效果，介绍了使用目标的有效性、可行性和覆盖面的考虑来构建有用的任务大纲的新技术，并在 2D 和 3D 环境中展示了成功应用。

    Sep, 2019

  • 无任务特定知识的自主强化学习自我监督课程生成

    提出了一种新颖的自主强化学习算法，能够根据智能体的学习进展生成自适应课程，使智能体能够高效地解决稀疏奖励迷宫导航任务，同时减少了手动复位。

    Nov, 2023

  • 任务分阶段：从示范中自动学习课程

    本文介绍了一种基于任务分阶段的机器学习方法，通过逐步提高任务复杂度并调节反馈信息，针对稀疏奖励问题下的强化学习进行探索，并取得了较好成果。

    Oct, 2022

  • 强化学习中的师生课程学习

    提出了一种基于师生课程学习的强化学习方法，该方法独立于人类领域知识和手动课程设置，可以改善学生的样本效率和通用性。

    Oct, 2022

  • 深度强化学习中具有任务关联的近端课程

    基于近发展区概念，我们提出了一种名为 ProCuRL-Target 的新型课程计划，它可以在复杂任务的目标分布上平衡选择任务的需要，通过利用任务之间的相关性推动代理的学习，从而加速深度强化学习代理的训练过程。

    May, 2024

  • CURIOUS: 内在动机模块化多目标强化学习

    该论文提出了一种名为 CURIOUS 的算法，它利用 MODULAR Universal Value Function Approximator 和自动化课程学习机制来实现学习代理的自主目标设定和自我组织学习课程，实现学习目标的快速最优化。

    Oct, 2018

  • 逆向课程生成用于强化学习

    本文提出了一种基于逆向强化学习的方法，用于训练机器人完成目标导向任务，该方法自动生成适应智能体表现的初始状态课程，即使面对目前最先进的强化学习方法无法解决的困难仿真导航和纤细操纵问题也可取得显著成果。

    Jul, 2017