Jan, 2024

基于上下文的自监督视觉学习：利用环境作为数据来源

PDF
TL;DR环境空间相似性方法（ESS）是一种独特的方法，通过在特定上下文中对自身进行勘探和跟踪，从而使智能体通过对其位置在连贯环境中的追踪来获取技能，ESS 方法在构造对比式学习中提供了历史空间上下文的相似性信号，并通过在模拟的逼真环境中使用图像作为实验设置来展示其优越性，特别是在陌生环境中能够在房间分类和空间预测任务中显示出非凡的熟练度，从机器人到太空探索等领域都有潜在的转变应用。
发现论文，激发创造
  • 利用导航信息学习视觉表示

    本研究旨在利用空间和时间的信息来改善自我监督学习，以提高分类性能。我们设计了一种流程来生成来自 ThreeDWorld 的自我视觉图像并记录相关的导航信息。修改动量对比（MoCo）模型，以代替实例区分进行预训练阶段中两个视图的相似性评估。结果显示，对比实例区分方法，本方法优于自我监督训练状态下的性能.

    Feb, 2022

  • 具有自监督的情境化时空对比学习

    本文提出了一种基于上下文感知的时空对比学习（ConST-CL）的方法，该方法成功地实现了学习细粒度视频表示，利用区域预文本任务引导模型从一个视角到另一个视角转换，并整合整体和局部表示的并行学习过程。我们在多个数据集上评估了所学得的表示，并展示了 ConST-CL 在 6 个数据集上取得了具有竞争力的结果，包括 Kinetics，UCF，HMDB，AVA-Kinetics，AVA 和 OTB。

    Dec, 2021

  • 地理感知的自监督学习

    本研究旨在将对比学习方法应用于地理定位的数据集上，通过利用遥感数据的时空结构设计预处理任务和构建时空正对来消除对比学习和监督学习之间的差距，并在遥感图像分类、目标检测和语义分割等任务上展示该方法的有效性，同时还表明该方法可以应用于地理标记的 ImageNet 图像并提高相应任务的性能。

    Nov, 2020

  • 使用语义地图监督学习导航视觉表征

    我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。

    Jul, 2023

  • 自我监督视觉学习中基于计算的接受者目视着物游戏的解释

    本研究使用玩具箱数据集和计算机视觉框架进行自我监督对比学习实验，发现通过学习信号，将单个物体的不同视角赋予相似的表示有助于视觉学习的稳健性，这种性能的提高对于多种图像分类任务来说是可持续的。

    May, 2023

  • CSP：自监督对比空间预训练用于地理空间视觉表示

    本研究提出了一种基于自监督学习的框架 Contrastive Spatial Pre-Training（CSP），用于处理大量具有地理标记信息的图像，通过对地理信息进行编码和对比学习，可以提高模型在图像分类任务中的性能。

    May, 2023

  • 自我监督：探究交互环境中的自监督表示

    在 Flappy Bird 和 Sonic The Hedgehog 两个视觉环境中，我们对自监督方法进行了小规模研究。我们定量评估了从这些任务中学到的表示，以及它们对新的情况（如新的关卡和纹理）的可推广性。最后，我们通过可视化它们关注的环境部分评估了这些自监督特征。我们的结果表明了表示的效用高度依赖于环境的视觉和动态特征。

    Jun, 2019

  • Few-Shot 分类的空间对比学习

    本文探讨使用反差学习作为辅助训练目标来促进更通用和可转移的特征，在此基础上提出了一种基于注意力的空间反差目标来学习本地区分和类别不可知特征。通过大量实验证明了该方法优于最先进的方法，证实了学习良好、可转移的嵌入在 few-shot 学习中的重要性。

    Dec, 2020

  • 空间交叉注意力提高自监督视觉表示学习

    该论文提出一个可添加到 SwAV 等现有方法中的附加模块，可以更好地学习图像语义中的空间交叉相关性和内部类信息，并提高物体检测等下游任务的性能。

    Jun, 2022

  • 具有一般监督信号的具身代理

    利用 Scene Graph Contrastive (SGC) loss 来训练具有实际效果的体验式人工智能代理，其利用神经体系结构和自我监督目标以提高表现学习，即时不利于任务相关信息的编码。这种方法广泛适用且简单易行，可以鼓励代表的编码对象的语义，关系和历史，通过 三个体验式任务的实验，验证了其有效性，并证明其能够编码关于环境的语义提示。

    Dec, 2022