面向对象的架构实现高效因果表示学习
从原始视觉数据中提取结构化表示是机器学习中一个重要且长期存在的挑战。最近,无监督学习目标为客观中心化表示的技术引起了越来越多的关注。本文提出了一种新颖的架构,通过在潜在空间维度的两个不重叠的子集中偏置客观中心化模型,以将形状和纹理成分分离开。在一系列客观中心化基准测试中的实验证明了我们的方法实现了所需的分离性,并在大多数情况下在数值上提高了基准性能。此外,我们还展示了我们的方法可以为特定对象生成新颖的纹理或在具有不同形状的对象之间传递纹理。
Jan, 2024
通过引入组合性和不可约性假设,分析了何时可以在无监督情况下学习对象为中心的表示,并通过在合成数据上的实验验证了结果。还提供了证据表明该理论具有现有对象为中心模型的预测能力。
May, 2023
学习模块化的物体中心表示对于系统化的泛化至关重要。现有的方法在经验上显示出有前景的物体绑定能力,但理论上的可识别性保证相对较少。理解何时可以在理论上识别物体中心表示对于按槽位进行高维图像的扩展方法具有重要意义且具有正确性保证。为此,我们提出了一种概率化的槽位注意力算法,通过在物体中心化槽位表示上施加聚合混合先验,从而在没有监督的情况下提供槽位可识别性保证,达到等价关系。我们通过简单的二维数据和高分辨率成像数据集进行了我们的理论可识别性结果的实证验证。
Jun, 2024
本文介绍了物体中心表示学习的概念,并在五个常见的多目标数据集上对最先进的无监督模型进行了训练和评估,研究了分割度量和下游对象属性预测等问题,并探讨了单个对象超出分布,全局属性的改变以及更少结构化的分布转变对其性能的影响。实验结果表明,物体中心表示对下游任务很有用,而且对于大多数影响对象的分布转变通常很坚韧。但是,当输入的分布变化不规则时,在分割和下游任务性能方面的韧性可能会因模型和分布转变而异。
Jul, 2021
最近在无监督的物体中心表示学习问题和其在下游任务中的应用方面取得了重大进展。最新研究支持这样一个论点:在基于图像的物体中心强化学习任务中使用解耦的物体表示有助于策略学习。我们提出了一种新颖的物体中心强化学习算法,结合了演员 - 评论家和基于模型的方法,有效地利用这些表示。我们的方法使用转换编码器提取物体表示,并使用图神经网络来近似环境动力学。所提出的方法填补了开发用于离散或连续动作空间环境的高效物体中心世界模型的研究空白。与基于转换器架构的最先进的无模型演员 - 评论家算法和最先进的整合模型为基础的算法相比,我们的算法在视觉复杂的三维机器人环境和具有组合结构的二维环境中表现更好。
Oct, 2023
本研究提出一种基于高斯混合模型的可学习聚类方法,将物体中心化情景建模,显著优于 Slot Attention 方法,在集合属性预测任务中取得了最先进的效果。
Nov, 2023
该研究提出了使用基于物体的表征作为组成性生成世界模型所学习的模块化和结构化观察空间,以帮助自主代理发现和学习有用的技能,并进一步将这些技能组合起来解决复杂的组合任务。
Nov, 2020
学习组合表示是目标为中心的学习的关键方面,它实现了灵活的系统化推广并支持复杂的视觉推理。然而,大多数现有方法依赖于自编码目标,而复杂性通常是由编码器中的架构或算法偏差隐含地施加的。本研究中,我们提出了一种新的目标,明确促进这些表示的复杂性。我们的方法基于现有的目标为中心的学习框架(例如,槽关注)构建,并加入了额外的约束,使得来自两幅图像的任意对象表示混合有效,通过最大化复合数据的似然性。我们证明将我们的目标融入现有框架可以持续改善客观为中心的学习,并增强对架构选择的鲁棒性。
May, 2024