自动机导向下的强化学习智能体课程生成

Apr, 2023

自动机导向下的强化学习智能体课程生成

Automaton-Guided Curriculum Generation for Reinforcement Learning Agents

Yash Shukla, Abhishek Kulkarni, Robert Wright, Alvaro Velasquez, Jivko Sinapov

TL;DR提出了 AGCL，一种基于确定性有限状态自动机（DFA）和面向对象马尔可夫决策过程（OOMDP）表示法的自动生成课程的方法，该方法在格子世界和基于物理仿真的机器人领域中的实验表明，AGCL 产生的课程在时间阈值性能上比最先进的课程学习和自动机引导强化学习技术实现了性能的提高。

Abstract

Despite advances in reinforcement learning, many sequential decision making tasks remain prohibitively expensive and impractical to learn. Recently, approaches that automatically generate reward functions from logical task specifications have been proposed to mitigate this issue; howev

reinforcement learning automaton-guided curriculum learning dag sequential decision-making state-of-the-art

发现论文，激发创造

通过设置器 - 求解器交互自动生成课程

研究探讨了如何在动态的环境下使用自动生成的任务大纲来改善智能体的效果，介绍了使用目标的有效性、可行性和覆盖面的考虑来构建有用的任务大纲的新技术，并在 2D 和 3D 环境中展示了成功应用。

Sep, 2019

无任务特定知识的自主强化学习自我监督课程生成

提出了一种新颖的自主强化学习算法，能够根据智能体的学习进展生成自适应课程，使智能体能够高效地解决稀疏奖励迷宫导航任务，同时减少了手动复位。

Nov, 2023

深度强化学习的自动课程学习：简要调查

本文介绍了自动课程学习（ACL）的相关文献，并对当前状态进行了概述，旨在促进现有概念的交叉和新思想的出现。ACL 是深度强化学习成功的中坚力量，可用于改善样本效率和渐进性能，组织探索，鼓励泛化或解决稀疏奖励问题，等等。

Mar, 2020

强化学习智能体自动生成目标

提出了一种基于 Adversarial training 的方法，用于 Reinforcement learning 中任务发现的问题，可以实现在不需要任何先验环境知识的情况下，对多元化任务的高效自动学习，并且能够解决传统上存在的稀疏奖励问题。

May, 2017

GloCAL：基于本地化课程辅助学习的多任务学习及其在机器人抓取中的应用

本文提出了一种名为 GloCAL 的算法，通过对多个离散任务进行聚类，创建课程学习，可以有效且安全地在机器人领域应用深度强化学习，并且利用所提出的算法，在 49 个对象的抓取学习中可以得到比其他方法更好的效果。

Apr, 2022

通过价值分歧进行自动课程学习

通过提出自动课程设计和目标建议模块，来提高强化学习中的多任务目标采样效率，并在机器人和导航任务中展示了比现有方法更好的性能。

Jun, 2020

尝试时重来，而不是尝试更久：自适应课程学习的先验学习

该研究论文提出了一种两阶段自适应教学方法，以提高深度强化学习（DRL）智能体的性能，主要包括使用过程生成任务、自动课程学习（ACL）和探索课程等关键词。

Apr, 2020

通过不确定性和时间距离感知的课程目标生成的以结果为导向的强化学习

本文提出了一种针对增强学习的不确定性和时间距离感知课程目标生成方法，通过解决二分图匹配问题，为课程提供精确的指导，从而更好地解决了先前课程 RL 方法中存在的问题，并在数量和质量上显著优于这些方法。

Jan, 2023

通过自动课程学习从单个人类演示中学习指导多个异构角色在星际争霸 II 中

本文利用自动课程学习的方法，通过单一的人类示范将多个异质演员集中命令的命令和控制任务的整体难度进行了调整，在 StarCraft II 中模拟的真实军事场景中，训练出的智能体的表现超过了当下最先进的深度强化学习和匹配了人类专家的表现。

May, 2022

逆向课程生成用于强化学习

本文提出了一种基于逆向强化学习的方法，用于训练机器人完成目标导向任务，该方法自动生成适应智能体表现的初始状态课程，即使面对目前最先进的强化学习方法无法解决的困难仿真导航和纤细操纵问题也可取得显著成果。

Jul, 2017