开放式学习导致通用能力的代理

Jul, 2021

Open-Ended Learning Leads to Generally Capable Agents

Open Ended Learning Team, Adam Stooke, Anuj Mahajan, Catarina Barros, Charlie Deck...

TL;DR本文介绍了一种基于多智能体、开放式学习的方法，其能够使得智能体在一种包含大量挑战、跨越多个任务、更广泛的行为通用化领域中表现出非凡的学习能力。通过在环境中建立一个任务的宇宙，我们的训练代理能够跨越更广泛的任务领域，这个领域自然多智能体，涉及合作竞争等多种类型的游戏，而这一领域的挑战对于智能体来说多种多样，因此，我们提出了一种迭代方法来改进代理的效果，而不是试图最大化一个单一目标。最终，我们证明了这种代理的通用能力，可以通过简单的微调实现更大规模的行为传递。

Abstract

In this work we create agents that can perform well beyond a single, individual task, that exhibit much wider generalisation of behaviour to a massive, rich space of challenges. We define a universe of tasks within an environment domain and demonstrate the ability to train agents that are generally capable across this vast space and beyond. The environment i

multi-agent learning generalization of behavior procedurally generated worlds open-ended learning emergent heuristic behaviors

发现论文，激发创造

目标条件智能体开放式学习问题定义

开放式学习是一个复合概念，其核心特性是在无限时间内不断产生新元素，并以开放式目标条件下的强化学习问题为重点研究领域。该研究旨在定义开放式学习的基本属性，并探讨其与相关概念的区别与联系，以填补目前在发展性人工智能研究中的知识空白。

Nov, 2023

MineDojo：基于互联网规模知识构建开放式具身代理

介绍了建立于 Minecraft 游戏之上的 MineDojo 框架，该框架支持多任务目标环境，同时结合大规模的多模态知识库和灵活可扩展的代理架构，利用大规模的预先训练的视频语言模型作为学习奖励函数的新型代理学习算法，成功解决一系列无需设计的开放式任务。

Jun, 2022

开放式智能：智能代理的个体化

本论文提出了一种理解人工通用智能的新理论方法，将其视为智能代理自组织的形成过程，并且阐述了开放式智能的三个方面：个体化、意义的建立和通用认知代理的个体化。

May, 2015

从分散的元强化学习中出现集体开放性探索

我们在开放式任务分布上通过元强化学习以及分散训练，探究了集体探索策略的产生，发现去中心化的智能体在对抗从五种不同类型任务中抽取出的多个子任务动态组成的大量任务树时，表现出了强大的泛化能力，能够解决训练过程中从未遇到的新任务，并且这种集体探索策略的学习在开放式任务设置下得以扩展，让智能体能够解决比训练过程中多两倍深度的任务树。

Nov, 2023

开放式世界中的学习课程

该论文介绍了一种称为无监督环境设计（UED）的方法，通过自动生成无限的训练环境序列或课程以匹配或超过真实世界的复杂性，从而实现深度强化学习代理在鲜有环境示例中表现出显著改进的鲁棒性和泛化能力，这些自生成的环境课程为不断生成和掌握自主设计的额外挑战的开放式学习系统提供了有希望的路径。

Dec, 2023

开放式任务空间中的人类时间尺度适应

本文介绍了一种训练 RL 代理器的方法，通过使用 meta-reinforcement 学习、基于注意力的内存结构和有效的自动课程表，该代理器可以快速适应开放式的 3D 问题，并具有自适应性。

Jan, 2023

自主 AI 代理的自发式开放世界学习

该论文提出了一个理论框架来推动构建自我发起的开放世界学习（SOL）代理的研究，讨论和解决了在实现完全自主可学习代理方面的挑战，特别是如何自动化地检测未知的情况或新奇情况，并适应或调整代理以从中学习，提高代理的适应能力和任务性能。

Oct, 2021

有趣的对象，好奇的智能体：学习与任务无关的探索

本研究提出了一种新的任务无关探索方法，将学习到的策略转移到不同的环境下，通过评估基线策略和探索组件，提高在多个测试环境下的一致性探索。

Nov, 2021

MAESTRO: 多智能体强化学习的开放环境设计

本文提出了 Multi-Agent Environment Design Strategist for Open-Ended Learning (MAESTRO) 算法，该算法在多智能体环境中使用 Unsupervised Environment Design (UED) 生成敌对性的联合任务集，MAESTRO 在竞争性的两人游戏中，跨离散和连续控制环境优于其他基线方法，并在 Nash 均衡点上获得了最小化后悔的保证。

Mar, 2023

在开放式文本世界中进行少样本任务迁移的专家混合方法

多任务学习中混合专家模型与注意力机制结合的研究表明，代理能够在开放式环境中通过重用先前任务的知识并快速学习新任务，同时在零样本和少样本学习中表现出更高的奖励获得和采样效率。

May, 2024