Jul, 2023

学习动态属性分解世界模型以提高多目标强化学习效率

PDF
TL;DR在这篇论文中，我们介绍了动态属性因子强化学习（DAFT-RL）框架，通过利用物体中心表示学习从视觉输入中提取物体，并学习对它们进行分类和推断其潜在参数。我们通过学习类别的模板图和对象之间属性级别的相互作用模式图，以及描述对象之间相互作用的动态交互图，可以学习一个策略，从而可以在新的环境中直接应用通过估计交互和潜在参数。我们在三个基准数据集中评估了 DAFT-RL，并展示了我们的框架在跨不同属性和潜在参数的未知对象之间进行泛化以及复合之前学习的任务方面优于现有技术。
发现论文，激发创造
  • 可辨别因子分解的世界模型学习

    本文提出了 IFactor 框架，它由四类潜在状态变量建模，以捕捉强化学习系统中各种信息的不同方面，并在合成环境和深度强化学习环境中展示了其性能优于基线的实验结果。

    Jun, 2023

  • 基于信息受限视觉表示的分解领域学习

    本研究的模型探究了人类学习复杂视觉信息的方式，包括压缩表示和因素表示，并提出了一种基于改进版本的 β 变分自编码器的人类因素表示学习模型，在学习速度和重构准确性之间进行了信息复杂度的平衡。

    Mar, 2023

  • 学习因子策略和动作值函数：因子化动作空间表示在深度强化学习中的应用

    该论文提出了一种新的学习范式，即分解学习控制策略使其在实现多个动作时只需要执行一个动作，从而取得了显著的性能提升，特别是在 Atari 2600 游戏中媲美或超过了两种 DRL 算法。

    May, 2017

  • MoCoDA: 基于模型的反事实数据增强

    本文提出一种利用局部分解结构的动力学模型、试验数据增强等方法的强化学习算法，该算法在离线学习方面比标准算法可显著提升其在超出分布范围的机器人操作任务中的性能表现。

    Oct, 2022

  • 在第一人称模拟 3D 环境中，针对稀疏奖励对象交互任务的强化学习

    本文介绍了一种无监督学习表示对象并执行物品交互任务的方法，它采用自主注意对象模型作为辅助任务，并在 AI2Thor 虚拟环境中进行测试。实验结果表明，该方法比其他辅助任务更快地学习成功率高。

    Oct, 2020

  • 多智体强化学习中的随机实体分解

    本文介绍了一种名为 REFIL 的方法，能够在多个具有不同类型和数量的代理和非代理实体的任务中发现共性，从而提高多任务环境下的学习效率，并在挑战性的多任务 StarCraft 微管理环境中显著优于所有强基线。

    Jun, 2020

  • 非静态强化学习的因素自适应

    提出了一种基于因果图和分解的自适应方法（Factored Adaptation for Non-Stationary RL, FANS-RL），可用于 Reinforcement Learning（RL）中的非静态环境和目标建模，能够学习到因果结构和各个时间变化因素的分解表示，该方法相对于现有的方法在 return、潜在状态的紧凑性和非静态性的鲁棒性方面有更好的表现。

    Mar, 2022

  • 样本高效强化学习的动态抽象表示学习

    本文介绍了一种新的从上至下的方法，用于在执行强化学习的同时构建状态抽象，动态计算一个基于 Q 值分散的抽象，结果表明，这种方法自动学习细调问题的抽象，具有较强的样本效率，并使强化学习代理明显优于现有方法。

    Oct, 2022

  • 利用动态因式分解将人类提供的信息整合到信念状态表示中

    该篇论文介绍了一个关于机器人在部分观察环境下进行可靠的推理与规划的有效方法，通过提供现实世界中物体属性的概率信息，并采取正确的策略，实现基于内部状态的自我学习，并验证了该方法在两个开放领域的规划问题中的有效性。

    Feb, 2018

  • 多智能体强化学习分解分布式值函数的统一框架

    提出了一个名为 DFAC 的统一框架，用于将分布式 RL 与值函数分解方法相结合，以对多智能体 RL 问题进行建模和解决。DFAC 能够因子化回报分布，使得它能够在多个基准测试中具有更好的表现。

    Jun, 2023