多级抽象下的面向对象动态学习

AAAIApr, 2019

Object-Oriented Dynamics Learning through Multi-Level Abstraction

Guangxiang Zhu, Jianhao Wang, Zhizhou Ren, Zichuan Lin, Chongjie Zhang

TL;DR本研究提出了一个多层次抽象的物体导向预测器 (MAOP) 的自我监督学习框架，该框架通过三级学习结构实现了从生视觉观察中有效的基于物体的动态学习，并设计了一种空间 - 时间关系推理机制来支持实例级的动态学习和处理部分可见性。结果表明，与以往的方法相比，MAOP 在样本效率和学习环境模型的新环境通用性方面显著优于以前的方法。此外，MAOP 还能够学习具有语义和可视可解释性的去耦合表示，并能在未知环境中实现高效规划。

Abstract

object-based approaches for learning action-conditioned dynamics has demonstrated promise for generalization and interpretability. However, existing approaches suffer from structural limitations and optimization difficulties for common environments with multiple dynamic objects. In thi

object-based approaches self-supervised learning framework instance-level dynamics learning spatial-temporal relational reasoning efficiency

发现论文，激发创造

面向对象的动态预测器

本文提出了一种名为 OODP 的目标导向动态预测框架，通过将环境分解为对象并预测对象间的动态来提高学习动态模型的泛化性能，该框架使用端到端神经网络实现，并可进行无监督学习。实验结果表明，OODP 在各种不同对象布局的新环境中具有显著的泛化能力，且能够从极少量的环境中学习并可以准确地预测大量未见过的环境的动态，同时它还能学习具有语义和视觉可解释的动态模型。

May, 2018

视觉模型基强化学习中的实体抽象

该论文测试了一种新的模型，可以通过对象之间的本地交互来建模场景，而不是全局建模，从而在泛化到以前未遇到过的组合空间的物理任务时提供巨大的益处。论文提出了一种名为 OP3 的实体为中心的感知、预测和规划的方法，使用它可以预测和规划具有不同数量和配置的对象的模型，没有监督的学习构建实体表示。OP3 通过对每个实体表示的对称处理来强制执行实体抽象，这使得它能够扩展到训练中没有观察到的不同数量和配置的对象上。该方法的主要技术挑战在于将这些实体表示地面化到环境中的实际对象，该论文将该变量绑定问题视为推理问题，并开发了一种交互式推理算法，该算法使用时间连续性和交互式反馈将关于对象属性的信息绑定到实体变量上。在堆叠积木任务中，OP3 泛化到新的积木配置和比训练时观察到的对象更多的对象，表现优于假设具有对象监督能力的 oracle 模型，比不表现实体抽象的最先进视频预测模型的准确率高两到三倍。

Oct, 2019

物体中心视觉预测的物理动态学习

本研究提出了一种无监督的物体中心预测模型，通过学习物体之间的视觉动态来进行未来预测，实验结果表明该模型在生成视觉质量和物理可靠性方面优于现有技术。

Mar, 2024

从视频中无监督学习物体结构和动力学

本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

Jun, 2019

从实物人类反馈中学习：一种物体为中心的单次适应方法

本文介绍了一种人机交互的方法，使用对象为中心的子任务描述人类任务，并根据特定对象检查和更新模型中的权重，以实现机器人的快速且简单的策略自适应。

Mar, 2022

物体堆叠操作的动态分辨率模型学习

本研究提出一种采用动态分辨率粒子表示方法，利用图神经网络（GNNs）学习统一的动力学模型，在不同的抽象级别上动态学习和适应表示，以实现效率和效果的最佳平衡，经过模拟和实际场景的综合评估，我们证明了该方法在搜集、分类、重新分配各种实例制成的颗粒物体堆方面的性能明显优于现有的固定分辨率基线。

Jun, 2023

基于面向对象预测和规划的物理交互推理

本研究提出了一种无需直接监督对象属性即可实现学习物理场景的物体中心表征的方法，我们的模型通过联合学习感知函数，物理交互函数和渲染函数，可以精确地预测物理变化并具有可操作性的直观物理表现。

Dec, 2018

OMPO：一种面向策略和环境变化的强化学习统一框架

用各种策略和动力学集合的环境交互数据训练强化学习策略面临着基本的挑战，现有研究往往忽视由策略或动力学变化引起的分布差异，或依赖于带有任务先验知识的专门算法，从而导致子优的策略表现和高学习方差。本文提出一种统一的在线强化学习策略学习策略和动力学变化多样的策略：转移占用匹配。对此，我们通过考虑转移占用差异引入了一个代理策略学习目标，并通过双重重构将其转化为可处理的极小极大优化问题。我们的方法名为占用匹配策略优化（OMPO），它具有专门的演员 - 评论家结构，配备分布鉴别器和小型本地缓冲区。我们在 OpenAI Gym、Meta-World 和 Panda Robots 环境中进行了大量实验，包括在稳态和非稳态动力学下的策略变化以及领域自适应。结果表明，OMPO 在所有设置中优于不同类别的专业基准。我们还发现，当与领域随机化结合时，OMPO 表现出特别强的性能，突显了其在基于强化学习的机器人应用中的潜力。

May, 2024

语言条件下的视觉目标搜索观测模型

在这项研究中，我们将物体搜索问题视为部分可观察的马尔可夫决策过程（POMDP），其中物体检测器和观察模型中的视觉传感器噪声由基于复杂语言描述的单个深度神经网络确定。通过我们的语言条件观察模型（LCOM），任何物体的语言描述都可以用来生成适当的物体检测器和噪声模型，并且训练 LCOM 仅需要现成的监督图像字幕数据集。我们在模拟环境中与最先进的物体搜索算法进行了实证评估，并证明使用我们的观察模型进行规划可以显著提高平均任务完成率（从 0.46 提高到 0.66），并且比使用固定噪声模型的方法更高效快速地进行物体搜索。我们将该方法应用于 Boston Dynamics Spot 机器人上，在房间范围内处理复杂的自然语言物体描述，并有效地找到物体。

Sep, 2023

学习感知模型

本文考虑了一个代理与未知和不确定的外部世界交互的情况，我们展示了预测了代理身体固有信息的模型会代表外部世界的对象，并通过积极预测身体信号来学习动态模型的过程具有优异的控制性能，此外还展示了使用相同模型可以回答关于真实世界中对象属性的问题。

Apr, 2018