通过自适应上下文感知策略在强化学习中实现动态概括

Oct, 2023

通过自适应上下文感知策略在强化学习中实现动态概括

Dynamics Generalisation in Reinforcement Learning via Adaptive Context-Aware Policies

Michael Beukman, Devon Jarvis, Richard Klein, Steven James, Benjamin Rosman

TL;DR我们研究了如何将上下文信息引入行为学习以提高泛化性能，并引入了一个神经网络架构 —— 决策适配器，该架构生成适配器模块的权重，并根据上下文信息调整智能体的行为。实验证明，与以往方法相比，决策适配器在几个环境中表现出更好的泛化性能，并且相对于一些替代方法，决策适配器对于无关变量的干扰更具鲁棒性。

Abstract

While reinforcement learning has achieved remarkable successes in several domains, its real-world application is limited due to many methods failing to generalise to unfamiliar conditions. In this work, we consider the problem of generalising to new transition dynamics, corresponding t

reinforcement learning generalisation context-sensitive policies neural network architecture decision adapter

发现论文，激发创造

基于上下文感知的模型动态学习在强化学习中的泛化应用

该论文提出了一种用于强化学习中学习动态全局模型的方法，通过将学习全局动态模型的任务分解为学习本地动态的上下文潜向量和条件预测下一个状态来实现此目的，并通过鼓励上下文潜向量在预测正向和反向动态方面有用来编码动态特定信息。该方法在各种模拟机器人控制任务中实现了优异的泛化能力，超过了现有的强化学习方案。

May, 2020

基于马尔可夫决策过程、实体嵌入和代理集成的上下文感知型代理策略组合

我们提出了一种基于仿真的新方法，通过知识图和实体嵌入来表示异构上下文，并使用并行运行的代理集合对需求进行上下文感知型策略的组合。在 “Virtual Home” 数据集上的评估表明，需要在不同上下文之间无缝切换的代理可以即时请求组合策略，以成功完成适应上下文的活动，而无需通过冗长的训练步骤和场景学习这些策略，与应用强化学习的代理不同。

Aug, 2023

自适应上下文强化学习

研究智能自主机器人如何通过新方法中的相对熵奖励学习算法来提高样本效率并使学习扩展到更广泛和尖锐的任务上。

Oct, 2019

通过上下文感知的动态模型实现对新物理系统的泛化

提出了一种新的框架 CoDA，旨在解决数据驱动模拟物理系统无法泛化到共享相同一般动态的新系统的问题，该框架结合了上下文信息的动态调整和超网络，实现了快速的适应和更好的泛化性能。

Feb, 2022

渐进上下文动态自适应连续强化学习

本文提出一种基于动态自适应的连续强化学习框架 DaCoRL，采用渐进式上下文建模来对动态环境中的任务进行聚类，利用可扩展多头神经网络来逼近策略，同时借助在线贝叶斯聚类技术精确地分类当前任务并实例化所需的新上下文。在多个机器人导航任务和 MuJoCo 运动任务上进行的实验证明该框架具有更高的稳定性、总体性能和泛化能力。

Sep, 2022

DisCo RL: 面向通用策略的分布条件强化学习

本文提出了一种基于目标分布的通用任务表征方法，通过该方法可以实现针对不同任务的灵活重用技能，并开发了一种离策略算法 (Distribution-Conditioned Reinforcement Learning, DisCo RL) 来高效地学习这些策略。在多种机器人操作任务上的实验表明，该方法显著优于先前的方法，尤其是需要对新目标分布进行泛化的任务。

Apr, 2021

推断行为特定的上下文在强化学习中提升零样本泛化能力

本文中，我们在强化学习中解决了零样本泛化的挑战，通过理解和利用环境的上下文线索，将上下文表示的学习与策略学习相结合，提出了一种算法。我们的算法在各种模拟域中展示了改进的泛化能力，在零样本情境中优于先前的上下文学习技术。通过同时学习策略和上下文，我们的方法获得了特定行为的上下文表示，在未知环境中实现了适应，并在实现跨不同真实世界任务的强化学习系统上取得了进展。

Apr, 2024

开放式任务空间中的人类时间尺度适应

本文介绍了一种训练 RL 代理器的方法，通过使用 meta-reinforcement 学习、基于注意力的内存结构和有效的自动课程表，该代理器可以快速适应开放式的 3D 问题，并具有自适应性。

Jan, 2023

使用因果反事实推理的迁移学习在决策 Transformer 中的应用

在强化学习中，通过应用因果推理和决策变换机制，从先前的环境中收集数据并将其用于新环境中的自适应转移学习可以成功地获得最佳策略，并保留大部分收益。

Oct, 2021

深度强化学习中的信息瓶颈用于动态泛化

采用信息论正则化目标和一个退火优化方法来提高强化学习代理的泛化能力，从而在不同领域的任务中实现极端泛化，揭示信息理论和机器学习之间的联系。

Aug, 2020