ICLRMar, 2022

全局和物体中心的自监督学习

PDF
TL;DR本文研究了利用自监督学习获取对象集中表示的关键方面，并在 CLEVR 数据集上运行了一些实验来验证我们的见解。我们的结果表明，竞争式注意力对象发现对于学习对象集中表示非常重要。对于训练，我们证明了在潜在空间中应用具有匹配性的对比损失，避免了基于像素的重建。但是，该优化目标对假阴性（重复对象）和假阳性（匹配错误）非常敏感。因此，需要仔细考虑数据增强和负样本选择。
发现论文，激发创造
  • 通过对比集合学习面向对象的视频模型

    通过引入全局、基于集合的对比损失和基于注意力的编码器，将个体目标表示相互对比更改为聚合表示并相互对比，从而在自监督学习中更有效地推动物体中心表示的出现，并在两个合成视频数据集上得到更好的效果。

    Nov, 2020

  • 可证明学习物体为中心的表达

    通过引入组合性和不可约性假设，分析了何时可以在无监督情况下学习对象为中心的表示，并通过在合成数据上的实验验证了结果。还提供了证据表明该理论具有现有对象为中心模型的预测能力。

    May, 2023

  • 基于物体中心表征的自监督视觉强化学习

    该研究提出了使用基于物体的表征作为组成性生成世界模型所学习的模块化和结构化观察空间，以帮助自主代理发现和学习有用的技能，并进一步将这些技能组合起来解决复杂的组合任务。

    Nov, 2020

  • 基于物体的学习中的泛化和鲁棒性关联

    本文介绍了物体中心表示学习的概念，并在五个常见的多目标数据集上对最先进的无监督模型进行了训练和评估，研究了分割度量和下游对象属性预测等问题，并探讨了单个对象超出分布，全局属性的改变以及更少结构化的分布转变对其性能的影响。实验结果表明，物体中心表示对下游任务很有用，而且对于大多数影响对象的分布转变通常很坚韧。但是，当输入的分布变化不规则时，在分割和下游任务性能方面的韧性可能会因模型和分布转变而异。

    Jul, 2021

  • 多视角匹配的高效表征学习

    本研究提出了一种将自监督学习和多视角匹配技术相结合的方法，在没有额外标签的情况下，利用来自嵌入式相机的机器人吸尘器捕获的数据学习更高质量的表示，并证明了其在物体分类性能上的有效性。

    Aug, 2022

  • 空间一致的表示学习

    本论文提出了一种空间一致性表示学习算法 (SCRL)，通过几何翻转和缩放操作，采用新颖的自监督目标生成具有相关性的局部区域的一致空间表示，我们的方法比目前的监督预训练方法和最新的自监督学习方法在各种基准数据集上均表现出显著的性能改进。

    Mar, 2021

  • 多视角自监督学习

    本文提供了一种信息理论框架，从多个视角探究自监督学习的特性，并介绍了可以丢弃任务无关信息的任务相关自适应目标函数，为自监督学习的目标设计提供了更加广阔的空间。

    Jun, 2020

  • 对比学习中的在线目标表示

    该论文提出了一种自监督学习的方法，用于从单目视频中学习物体的表征，并证明其在机器人等实践中具有特殊的用途。

    Jun, 2019

  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021

  • 自监督表示学习的定位加速

    通过数据驱动的前景显著性估计和复制粘贴来生成图像视图，实现对背景不变性的学习，从而训练代表性忽略背景内容并专注于前景的对比学习模型，并实现了在 ImageNet 分类和 PASCAL VOC、MSCOCO 目标检测上的显著性能提升。

    Apr, 2020