多任务强化学习中的层次和可解释技能获取

Dec, 2017

多任务强化学习中的层次和可解释技能获取

Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning

Tianmin Shu, Caiming Xiong, Richard Socher

TL;DR本文提出了一种用于有效的多任务强化学习的新框架，该框架可以训练代理人使用分层策略，决定何时使用先前学习的策略和何时学习新技能。该方法通过给代理人提供随机时间语法来帮助代理人学习分层策略中必要的复杂时间依赖关系，并在Minecraft游戏中进行了验证。

Abstract

Learning policies for complex tasks that require multiple different skills is a major challenge in reinforcement learning (RL). It is also a requirement for its deployment in real-world scenarios. This paper proposes a novel framework for efficient multi-task →

发现论文，激发创造

深度分层学习在 Minecraft 中的终身学习方法

提出了一种能够在Minecraft游戏中学习可重用技能的深度技能网络，通过技能精炼和深度技能数组的两种技术将其结合到层次深度强化学习网络中，从而实现具有可重用性的生命周期学习，该网络在Minecraft游戏的子域中表现出卓越的性能和低学习样本复杂度。

Apr, 2016

使用时空聚类法进行分层强化学习中的选项发现

介绍了一种基于自动技能获取框架的强化学习方法，利用动力学系统和谱聚类算法来识别并建立抽象状态和动作之间的连接；通过该框架可以更加高效地学习和推广多种任务，特别是处理大状态空间的复杂任务时。

May, 2016

具有策略草图的模块化多任务强化学习

本论文提出了一种基于策略草图的多任务深度强化学习框架，该框架实现了通过关联每个子任务与模块化子策略、跨任务共享子策略的方式来提高任务性能，并自然地产生可解释的基础行为库，以便迅速适应新任务。

Nov, 2016

语言作为层次深度强化学习的抽象

本文提出了使用语言作为抽象概念的层次强化学习方法，通过学习基本概念和子技能来解决时间延长的任务，构建了开源对象交互环境，证明了采用这种方法，代理可以从原始像素观察中学习解决多样化的任务，语言的组合性质使得学习多种子技能变得关键。

Jun, 2019

层次化启动在强化学习技能转移中的应用

本文研究了如何将技能融入强化学习智能体的训练，提出了基于技能的新方法Hierarchical Kickstarting（HKS），并在复杂环境下的游戏NetHack及其他基线测试中验证了其表现优于其他方法，并认为利用预定义技能为具有大的状态-动作空间和稀疏奖励的强化学习问题提供了一个有用的归纳偏差。

Jul, 2022

使用隐马尔可夫模型的自动机学习任务自动化增强学习

该论文提出了一种从代理环境经验中学习非马尔可夫任务规范的新方法，可以将任务拆分为其构成子任务，提高了RL代理后续合成最优策略的速率，并提供了一个可解释的编码高级环境和任务特征的方式。

Aug, 2022

SkillS: 自适应技能序列用于高效的时间扩展探索

我们提出了一种在多个领域中比现有方法更出色的技能转移方法，通过学习现有的时间扩展技能序列来进行探索，并直接从原始经验中学习最终策略，实现快速适应和高效数据收集。

Nov, 2022

在强化学习中创建多级技能层次结构

基于图形结构的交互模式，提出了一种基于分层图划分的自主代理技能分层方法，该技能分层具有多层抽象和在强化学习中的实用性。

Jun, 2023

自然语言子目标的层次强化学习

我们提出了一种新颖的方法，利用人类在3D实体环境中解决任务时使用的无约束自然语言数据，通过软约束目标空间，对一组长期任务进行层次强化学习，从而实现在现实或开放环境中实现目标导向行为的挑战。

Sep, 2023

在虚拟环境中的目标条件强化学习指令跟踪

本研究提出了一个层次化的框架，结合大型语言模型的深度语言理解和强化学习代理的自适应执行能力，以使人工智能代理能够在虚拟环境中执行复杂的语言指令，并成功实现所需的结果。该框架在两个不同的环境中展示了其有效性：在IGLU中，代理被指示建造结构；在Crafter中，代理根据语言指令在周围环境中执行任务并与物体交互。

Jul, 2024