场景图像中的无监督物体级别表示学习

Jun, 2021

场景图像中的无监督物体级别表示学习

Unsupervised Object-Level Representation Learning from Scene Images

Jiahao Xie, Xiaohang Zhan, Ziwei Liu, Yew Soon Ong, Chen Change Loy

TL;DR本文提出了一种名为 Object-level Representation Learning（ORL）的自监督学习框架，旨在从场景图像中进行物体级别的表示学习，通过利用图像级别的自监督预训练作为先验，实现物体级别的语义对应。实验结果表明，ORL 在场景图像的自监督学习中显著提高了性能，在某些下游任务中甚至超过了受监督的 ImageNet 预训练，并在更多未标记的场景图像可用时改善了下游性能，展示了它在利用野外未标记数据方面的巨大潜力，希望它能激发未来更多关于从场景数据中进行通用无监督表征学习的研究。

Abstract

Contrastive self-supervised learning has largely narrowed the gap to supervised pre-training on ImageNet. However, its success highly relies on the object-centric priors of ImageNet, i.e., different augmented views of the same image correspond to the same object. Such a heavily curated

self-supervised learning object-level representation learning semantic correspondence scene images unlabeled data

发现论文，激发创造

基于语言媒介的物体中心表示学习

Language-mediated, Object-centric Representation Learning 是一种学习物体中心场景表示的新范式，通过从语言输入中获取物体中心概念来促进物体中心表示的学习，并能结合无监督的物体探索算法，提高语言帮助下的无监督物体探索方法的性能，并辅助下游任务，如指称理解。

Dec, 2020

精炼与表现：区域到对象的表现学习

R2O is a new method combining region-based and object-centric pretraining in self-supervised learning which leads to state-of-the-art performance in semantic segmentation, instance segmentation, and object segmentation without further training.

Aug, 2022

空间一致的表示学习

本论文提出了一种空间一致性表示学习算法 (SCRL)，通过几何翻转和缩放操作，采用新颖的自监督目标生成具有相关性的局部区域的一致空间表示，我们的方法比目前的监督预训练方法和最新的自监督学习方法在各种基准数据集上均表现出显著的性能改进。

Mar, 2021

全局和物体中心的自监督学习

本文研究了利用自监督学习获取对象集中表示的关键方面，并在 CLEVR 数据集上运行了一些实验来验证我们的见解。我们的结果表明，竞争式注意力对象发现对于学习对象集中表示非常重要。对于训练，我们证明了在潜在空间中应用具有匹配性的对比损失，避免了基于像素的重建。但是，该优化目标对假阴性（重复对象）和假阳性（匹配错误）非常敏感。因此，需要仔细考虑数据增强和负样本选择。

Mar, 2022

使用物体感知表达式的多物体场景视觉运动控制

本文探索运用物体感知表征学习技术进行机器人任务，自监督学习方法可降低实际世界中收集大量标记数据的成本，该研究展示物体感知表征学习技术在策略学习和物体定位预测方面显著提高了当前技术的效能和表现。

May, 2022

提升数据高效三维场景理解的表示学习的泛化能力

通过利用生成贝叶斯网络产生具有真实世界模式的多样化合成场景，并通过联合学习粗到精的对比学习任务和遮挡感知重建任务，我们提出了可泛化的表示学习（GRL）方法，从而为三维场景的理解提供了可传递、几何信息化的表示。在合成数据的预训练之后，我们的模型的所掌握的知识可以通过真实世界基准数据集实现无缝传递到与三维场景理解相关的两个主要下游任务，即三维物体检测和三维语义分割，并通过详尽系列的实验证明了我们方法相对于现有最新预训练方法的持续优势。

Jun, 2024

预训练物体中心表征在强化学习中的探究

本文通过实验探究并系统评估 OCR 预训练对于基于图像的强化学习原型任务的影响及其局限性，研究结果为在某些情况下 OCR 预训练使用的潜在局限性提供了实证证据，并分析了影响 OCR 预训练在强化学习中应用的关键因素，包括在视觉复杂环境中的性能和适当的汇聚层以聚合对象表示。

Feb, 2023

对比学习中的在线目标表示

该论文提出了一种自监督学习的方法，用于从单目视频中学习物体的表征，并证明其在机器人等实践中具有特殊的用途。

Jun, 2019

可证明学习物体为中心的表达

通过引入组合性和不可约性假设，分析了何时可以在无监督情况下学习对象为中心的表示，并通过在合成数据上的实验验证了结果。还提供了证据表明该理论具有现有对象为中心模型的预测能力。

May, 2023

自监督学习预设不变表示

本研究证明了在无监督环境下，通过使用基于 PIRL 的预处理任务可以显著改善图像语义维度的质量，且该方法可以用于提取具有良好不变性质的图像信息（如对象检测）中。

Dec, 2019