JAX 中用于自学习任务的高效基线算法

Nov, 2023

JAX 中用于自学习任务的高效基线算法

minimax: Efficient Baselines for Autocurricula in JAX

Minqi Jiang, Michael Dennis, Edward Grefenstette, Tim Rocktäschel

TL;DR无监督环境设计（UED）是一种自动课程学习的形式，用于训练强大的决策制定代理，使其能够在未知环境中进行零样本迁移。本研究介绍了用于加速硬件上的 UED 训练的 minimax 库，并利用 JAX 实现完全张量化的环境和自动课程算法，以便该训练循环可以进行硬件加速。minimax 包括基于 MiniGrid 的张量化网格世界，以及在生成过程中进行自动课程设计的可重复使用的抽象层，为快速实验提供了实验平台。该库提供了强大的基准模型，包括新的并行化变体，在训练过程中与相等批次大小相比，实现了超过 120 倍的加速。

Abstract

unsupervised environment design (UED) is a form of automatic curriculum learning for training robust decision-making agents to zero-shot transfer into unseen environments. Such autocurricula have received much in

unsupervised environment design automatic curriculum learning robust decision-making agents accelerated hardware minimax library

发现论文，激发创造

JaxUED：一个简单易用的 Jax UED 库

JaxUED 是一个开源库，提供现代无监督环境设计算法的最小依赖实现。JaxUED 利用硬件加速获得与基于 CPU 的实现相比高达 100 倍的加速。本文描述了我们的库并包含了基准结果。

Mar, 2024

无监督环境设计中的随机不确定性建模

SAMLR 是一种适应性课程学习方法，可以在避免课程诱导的协变量漂移的情况下优化环境序列，保证在真实环境下最大化效用函数，实现强化学习中的最小后悔策略。

Jul, 2022

开放式世界中的学习课程

该论文介绍了一种称为无监督环境设计（UED）的方法，通过自动生成无限的训练环境序列或课程以匹配或超过真实世界的复杂性，从而实现深度强化学习代理在鲜有环境示例中表现出显著改进的鲁棒性和泛化能力，这些自生成的环境课程为不断生成和掌握自主设计的额外挑战的开放式学习系统提供了有希望的路径。

Dec, 2023

CLUTR: 通过无监督任务表示学习进行课程学习

介绍了 CLUTR：一种新型的无监督课程学习算法，通过将任务表示和课程学习分解成两个阶段的优化，成功地克服了任务分布不稳定性的问题，提高了稳定性，并在 CarRacing 和 Navigation 等环境中实现了具有挑战性的零 - shot 推广。

Oct, 2022

非监督环境设计引发的新兴复杂性和零 - shot 迁移

本文提出一种名为 “PAIRED” 的技术，可自动设计一系列结构化的智能环境用于训练机器学习模型，实验证明 PAIRED 相较于传统方法在零样本迁移学习及新颖环境下的测试表现更优。

Dec, 2020

回放引导的对抗环境设计

本文介绍了一种基于无监督环境设计的强化学习范例，叫做双重课程设计，其中使用了具有优先级的等级重放采样和对抗性策略改进方式，并在零样本迁移任务中得到了比以往更好的效果。

Oct, 2021

基于生成轨迹建模的环境设计层次化方法

无监督环境设计（UED）是一种培训通常能够实现良好零 - shot 转移性能的能力强大的代理的范式。我们提出了一种基于分层 MDP（马尔可夫决策过程）的新框架，通过指导学生的性能，上层 MDP 来培训下层 MDP 学生代理。我们的算法 SHED（Synthetically-enhanced Hierarchical Environment Design）显著减少了代理与环境之间资源密集型的交互，并证明了 SHED 的多种优势，以及它作为 UED 框架中的一种有效工具的效果。

Sep, 2023

用学习对手稳定非监督环境设计

训练任务、无监督环境设计、PARED、最新方法、开放式强化学习训练。

Aug, 2023

MAESTRO: 多智能体强化学习的开放环境设计

本文提出了 Multi-Agent Environment Design Strategist for Open-Ended Learning (MAESTRO) 算法，该算法在多智能体环境中使用 Unsupervised Environment Design (UED) 生成敌对性的联合任务集，MAESTRO 在竞争性的两人游戏中，跨离散和连续控制环境优于其他基线方法，并在 Nash 均衡点上获得了最小化后悔的保证。

Mar, 2023

神经网络的自动课程学习

本篇论文提出了一种新的方法，通过评估学习进程来自动化选择神经网络学习课程，从而最大化学习效率。通过提供来自学习进展指标的信号以激励非静态多臂赌博机算法来的确定随机教学计划。对于 3 个课程上的 LSTM 网络的实验结果表明，我们的方法可以显著加快学习速度，在某些情况下，将实现令人满意的性能水平所需的时间减半。

Apr, 2017