Jan, 2024

槽位结构化世界模型

PDF
TL;DR感知和推理个体物体及其相互作用是构建智能人工系统的目标，而 Slot Structured World Models 是一种结合基于 Slot Attention 的物体中心化编码器和潜在图形动力学模型的世界模型，用于解决当前方法在提取物体表示和区分相似物体方面存在的问题。
perceivereasonobjectsinteractionsslot structured world models
发现论文，激发创造
  • 适用于样本高效的物理世界建模的变压器和插槽编码

    通过将变压器架构与槽关注范式相结合，本文提出了一种用于世界建模的神经架构，实验证明在样本效率和性能变化减少方面相比现有解决方案有所改进。

    May, 2024

  • 结构化世界模型的对比学习

    通过对比学习的结构化世界模型（C-SWMs）在具有组合结构的环境中，利用图形神经网络对状态嵌入进行了建模，能够从原始像素观测中发现对象，学习出可解释的对象表示，并在多个互动对象、简单 Atari 游戏和多对象物理模拟中得到有效应用。

    Nov, 2019

  • 槽位状态空间模型

    我们介绍了一种新颖的框架 SlotSSMs，用于在状态空间模型中引入独立机制以保持或促进信息的分离，评估表明我们的设计在多对象建模和长期时间依赖性的任务中显著提高了性能。

    Jun, 2024

  • 基于 POMDP 的强化学习结构化世界信念

    这篇论文提出了一种名为 “Structured World Belief” 的模型，可用于学习和推理物体集中信念状态，通过 SMC 实现，提供多个物体集中场景的假设，以及一种新的物体集中动态模型，能够在长时间内跟踪不可见的物体状态，同时允许模型灵活关注图像中的任何空间位置，并显示其在强化学习、规划和监督推理中的有效性。

    Jul, 2021

  • 基于插槽注意力的目标中心学习

    本文提出了一个名为 Slot Attention 的架构组件，它能够从低级感知特征中提取物体为中心的表示，并能够推广到未见组合。

    Jun, 2020

  • 基于结构化世界模型的好奇探索实现零样本物体操作

    使用结构化世界模型的内在动机强化学习算法，实现了多物体环境中的高效探索以及零样本泛化，可以完成像堆叠、翻转、拿起、投掷等任务。

    Jun, 2022

  • 不变槽注意力机制：基于槽中心参考系的物体发现

    本文介绍了一种通过基于槽的神经网络、空间对称和基于槽的参考帧来提高目标探测的数据效率的方法，并通过多个合成和真实场景以及挑战性的数据集进行了评估和实验。

    Feb, 2023

  • SlotGNN：无监督发现多物体表示和视觉动态

    利用无监督技术从视觉数据中学习多对象动态是一项具有挑战性的任务。本文提出一种新的框架，通过机器人交互学习可以学到稳健的对象表示的两个新架构：SlotTransport 用于从 RGB 图像中发现对象表示，SlotGNN 用于从 RGB 图像和机器人交互中预测它们的集体动态。

    Oct, 2023

  • SlotFormer: 使用以物体为中心的模型进行无监督视觉动态模拟

    本文介绍了一种基于 SlotFormer 的 Transformer 自回归模型，利用学习到的目标中心表示来模拟物体间的关系，成功地应用于视频预测和 VQA 等多个领域，并表明它作为模型为基础的规划世界模型的能力与针对该任务专门设计的方法相媲美。

    Oct, 2022

  • 视频的推理增强的物体中心学习

    通过设计一种名为 STATM 的新型推理模块，可以显著增强基于插槽的视频模型的物体中心学习能力。

    Mar, 2024