ICMLApr, 2023

从像素中发现基于物体的广义值函数

PDF
TL;DR本文提出了一种基于对象的方法，试图从对象中发现有意义的特征，将其转化为具有时间相关性的 “指导” 函数，并利用随后学习到的一般价值函数进行控制，并且通过定性分析表明，学习到的表示不仅可解释而且围绕着任务之间不变的对象，从而促进了快速适应。
deep reinforcement learningobject-centric learningtemporally coherent question functionsgeneral value functionsfast adaptation
发现论文，激发创造
  • 基于物体中心表征的自监督视觉强化学习

    该研究提出了使用基于物体的表征作为组成性生成世界模型所学习的模块化和结构化观察空间，以帮助自主代理发现和学习有用的技能，并进一步将这些技能组合起来解决复杂的组合任务。

    Nov, 2020

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017

  • 跟随你的嗅觉：在强化学习中使用通用价值函数进行有向探索

    本研究探索了使用 GVF 和有向探索策略结合探索和辅助任务学习的方法来提高强化学习中的样本效率，实验表明该方法在不同大小的网格导航任务中表现出优异的性能。

    Mar, 2022

  • 目标导向的迁移学习的明确价值预训练

    提出了一种方法，可以通过基于价值函数估计的一系列观察结果来学习任务无关的表示，其中最后一帧对应于一个目标状态。这些表示将学习通过与目标状态的时序距离相关的不同任务之间的状态，无论外观变化和动力学如何。这种方法可以用于将学习的策略 / 技能转移到未见过的相关任务。

    Dec, 2023

  • 强化学习最优表示的几何视角

    通过基于值函数空间的几何特性，提出了一种新的表征学习的视角，证明了值函数作为辅助任务的实用性并将敌对价值函数作为其自然候选。在四间房间领域的实验中，展示了敌对价值函数作为辅助任务的有用性和特点。

    Jan, 2019

  • 发现有用问题的辅助任务

    这篇文章提出了一种基于元梯度的全局价值函数（GVFs）发现方法，从而让强化学习（RL）代理能够发现自身的问题并通过学习答案来获得未预期的有用知识和技能，在 Atari 2600 电子游戏中，这些辅助任务通过与主任务一起元学习的方式可以提高一个演员 - 评论家代理的数据效率。

    Sep, 2019

  • 重新思考强化学习中的值函数学习以实现泛化

    本研究旨在训练多个视觉环境下的 RL 代理以提高观察泛化性能，并提出了一种延迟评论者策略梯度（DCPG）算法，该算法可以使用单一统一的网络架构来实现，极大地提高了 Procgen 基准测试的样本效率和观测泛化性能。

    Oct, 2022

  • 基于实体为中心的从像素到目标操控的强化学习

    这项研究提出了一种适用于表示多个物体及其相互作用的可视强化学习结构化方法，用于学习多个物体的目标条件操纵，并演示了学习使用三个物体但能推广到具有十多个物体的类似任务的代理的能力。

    Apr, 2024

  • 基于像素控制的表示学习：关键因素和原因

    本文旨在探索强化学习在真实世界任务中的最佳应用，通过对基于像素控制的表征学习进行研究以及设计不同的评估指标来帮助研究人员重新思考表征学习。

    Nov, 2021

  • 深度集合用于 RL 中的泛化

    本文研究了在自然语言引导下的强化学习中，将以对象为中心的表现编码到奖励函数和策略架构中的想法。通过使用受深度集合启发的对象排列不变网络和门控注意机制的组合，我们在二维过程生成的世界中显示出这些结构对于分布外的目标具有强大的泛化能力，同时我们研究了在测试时对象数量的泛化和将以对象为中心的架构扩展到涉及关系推理的目标。

    Mar, 2020