ICLRJul, 2022

基于神经组合的模块化终身强化学习

PDF
TL;DR本文提出了一种基于神经模块的组成式学习方式，探讨了在连续强化学习模型下的可重复利用子问题解决方案，并且通过离线重放经验保持表现以加速未来任务学习的累积神经组件复合持续强化学习方法。
compositional reasoningneural moduleslifelong reinforcement learningaccumulated neural componentsoff-line rl
发现论文，激发创造
  • 功能组合结构的终身机器学习

    这篇论文提出了一种通用的学习框架，用于终身学习功能本质组合结构，分别研究了有监督学习和强化学习的应用，同时拓展到了非静态环境下。在评估实验中，展示了这种框架的优越性，取得了较好的效果。

    Jul, 2022

  • 组合结构的终身学习

    将组合学习和终身学习结合，提出一种通用的处理流相关任务的终身组合学习框架，包括两个阶段：学习如何更好地组合现有组件以同化新问题和学习如何适应现有组件集以容纳新问题。

    Jul, 2020

  • 组合强化学习的范畴语义

    本文利用分类学的方法，构建了一个强化学习的可组合性框架，研究了分解问题为子任务并在这些任务上运用学习策略的方法。文章针对贝尔曼最优方程而研究在组合模型下的可行性，探讨使用一些纤维积和推出操作使得组合现象更明显，并且通过引入的 zig-zag 连线模拟了 MDP 中的连续式任务完成方式。

    Aug, 2022

  • 可验证的组合性强化学习系统

    我们提出了一个可验证和组合的强化学习框架，其中一组强化学习子系统被组合起来以实现整体任务，子系统之间通过定义接口和部分可观察性相互交互。实验结果展示了该框架在各种环境中的新颖功能。

    Sep, 2023

  • 可验证和组合的强化学习系统

    提出了一种可验证和组合强化学习的框架，其中包含一组学习单独子任务的子系统，并填充入标准任务的高层模型，将各个子任务组合成全部任务，成功证明了该框架的实用性和有效性。

    Jun, 2021

  • 模块化元学习

    本文提出了一种学习一组神经网络模块并以不同方式组合的策略，并通过重复使用模块来实现组合概括，提高机器人相关问题的性能。

    Jun, 2018

  • 透過週期性神經網路的增強學習，實現行動層次和組合的自我組織

    该研究提出一种新型的多时间尺度随机循环神经网络用于强化学习，可以自主学习抽象的子目标并自我开发行为层次结构，在挑战性的连续控制任务中确保了比起从头开始训练更快的再学习。同时，研究发现，当神经活动遵循随机动态时，可以实现更好的表现。

    Jan, 2019

  • 如何重复使用和组合知识以应对终身任务：持续学习和功能组合综述

    该研究论文探讨了终身学习和组合学习的研究现状，并讨论两个领域之间的联系，旨在培养能够获得世界一般理解的智能代理。

    Jul, 2022

  • 语言作为层次深度强化学习的抽象

    本文提出了使用语言作为抽象概念的层次强化学习方法，通过学习基本概念和子技能来解决时间延长的任务，构建了开源对象交互环境，证明了采用这种方法，代理可以从原始像素观察中学习解决多样化的任务，语言的组合性质使得学习多种子技能变得关键。

    Jun, 2019

  • 使用强化学习进行视觉概念的组合学习

    深度强化学习代理需要数百万次训练以解决与指令相关的导航任务，对于其泛化到新颖指令组合的能力还不清楚。然而，有趣的是，儿童能够将基于语言的指令分解并导航到所指对象，即使他们以前没有见过这种查询的组合。因此，我们创建了三个 3D 环境来研究深度强化学习代理如何学习和组合基于颜色和形状的组合指令来解决空间导航任务中的新颖组合。首先，我们探索代理是否能进行组合学习，并且它们是否可以利用冻结的文本编码器（例如 CLIP，BERT）在较少的训练次数内学习词组合。接下来，我们证明当代理在形状或颜色概念上预训练时，它们解决未见组合指令所需的训练次数减少了 20 倍。最后，我们展示了在概念和组合学习上进行预训练的代理在评估时的零样本状态下，对新的颜色 - 形状 1 - 形状 2 视觉对象组合获得了显著更高的奖励。总体而言，我们的结果凸显了通过强化学习增强代理组合词语的能力以及其对新组合的零样本泛化能力所需的基础。

    Sep, 2023