Oct, 2023

图形对象中心的演员 - 评论家算法

PDF
TL;DR最近在无监督的物体中心表示学习问题和其在下游任务中的应用方面取得了重大进展。最新研究支持这样一个论点：在基于图像的物体中心强化学习任务中使用解耦的物体表示有助于策略学习。我们提出了一种新颖的物体中心强化学习算法，结合了演员 - 评论家和基于模型的方法，有效地利用这些表示。我们的方法使用转换编码器提取物体表示，并使用图神经网络来近似环境动力学。所提出的方法填补了开发用于离散或连续动作空间环境的高效物体中心世界模型的研究空白。与基于转换器架构的最先进的无模型演员 - 评论家算法和最先进的整合模型为基础的算法相比，我们的算法在视觉复杂的三维机器人环境和具有组合结构的二维环境中表现更好。
unsupervised object-centric representation learningdisentangled object representationsreinforcement learningactor-criticmodel-based approach
发现论文，激发创造
  • 基于物体中心表征的自监督视觉强化学习

    该研究提出了使用基于物体的表征作为组成性生成世界模型所学习的模块化和结构化观察空间，以帮助自主代理发现和学习有用的技能，并进一步将这些技能组合起来解决复杂的组合任务。

    Nov, 2020

  • 可证明学习物体为中心的表达

    通过引入组合性和不可约性假设，分析了何时可以在无监督情况下学习对象为中心的表示，并通过在合成数据上的实验验证了结果。还提供了证据表明该理论具有现有对象为中心模型的预测能力。

    May, 2023

  • 基于物体的学习中的泛化和鲁棒性关联

    本文介绍了物体中心表示学习的概念，并在五个常见的多目标数据集上对最先进的无监督模型进行了训练和评估，研究了分割度量和下游对象属性预测等问题，并探讨了单个对象超出分布，全局属性的改变以及更少结构化的分布转变对其性能的影响。实验结果表明，物体中心表示对下游任务很有用，而且对于大多数影响对象的分布转变通常很坚韧。但是，当输入的分布变化不规则时，在分割和下游任务性能方面的韧性可能会因模型和分布转变而异。

    Jul, 2021

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017

  • 预训练物体中心表征在强化学习中的探究

    本文通过实验探究并系统评估 OCR 预训练对于基于图像的强化学习原型任务的影响及其局限性，研究结果为在某些情况下 OCR 预训练使用的潜在局限性提供了实证证据，并分析了影响 OCR 预训练在强化学习中应用的关键因素，包括在视觉复杂环境中的性能和适当的汇聚层以聚合对象表示。

    Feb, 2023

  • 面向对象的架构实现高效因果表示学习

    利用因果表征学习和面向物体的学习相结合，通过修改 Slot Attention 架构，开发出了一种利用稀疏扰动进行弱监督的物体中心化架构，以更少的扰动成功解缠多个物体的属性。

    Oct, 2023

  • OCAtari: 以物体为中心的 Atari 2600 强化学习环境

    本文介绍了 OCAtari 这个环境，它提供了针对 Atart 游戏的以物体为中心的状态表示，可以用于深度强化学习方法的评估，允许我们改变和创建特定甚至是新颖的情境来进行 RAM 状态操作。

    Jun, 2023

  • 深度物体中心策略用于自动驾驶

    本研究采用对象为中心的方法，既能利用对象实例，又可以最大限度地适应新场景，提供了直观的可视化结果，在自主驾驶等机器人任务中，相较于传统方法，更具鲁棒性和性能表现。

    Nov, 2018

  • 以物体为中心的视频表示对长期行动预测

    本文旨在建立面向视频中长期动作预测的物体中心表示。我们提出利用视觉 - 语言预训练模型构建物体中心视频表示，通过 “物体提示” 从通用预训练模型中提取任务特定的物体中心表示。我们使用基于 Transformer 的神经架构来识别和预测人 - 物交互，并在 Ego4D、50Salads 和 EGTEA Gaze + 基准测试上进行了广泛评估，定量和定性结果证实了我们提出方法的有效性。

    Oct, 2023

  • 深度强化学习的辅助任务 —— 代理建模

    本文探讨了如何将演员 - 评论家（Actor-Critic）方法在深度强化学习中，尤其是异步优势演员评论家（A3C）与代理建模相结合。我们提出了两种体系结构来执行代理建模，旨在学习其他代理的策略作为辅助任务。在协作和竞争领域的实验结果表明，所提出的体系结构稳定了学习，并在学习期望报酬最佳响应时优于标准 A3C 体系结构。

    Jul, 2019