基于自主车辆的关键挑战是准确检测环境中的物体。我们引入 PatchContrast，这是一个创新的自我监督点云预训练框架，用于 3D 物体检测。通过提出两个抽象层次的利用，我们学习未标记数据的判别性表示：提案级别和补丁级别。提案级别旨在确定物体相对于周围环境的位置，而补丁级别增加了关于物体组件之间内部连接的信息，从而根据它们的独立组件区分不同的对象。我们展示了如何将这些级别集成到自我监督预训练中以增强下游的 3D 检测任务，并证明我们的方法在三个常用的 3D 检测数据集上优于现有的最先进模型。

Aug, 2023

利用自我监督学习从大规模、无标签数据集中学习表示已被证明对于理解各种远程感知图像非常有效。本研究提出了一种增强型自我监督表示学习方法，通过简单而高效的预训练流程，解决了对比学习中的假阳性匹配问题以及重构学习中缺失上下文信息的问题，并通过语义一致性约束提供上下文信息。实验证明该方法在土地覆盖分类、语义分割、目标检测和实例分割等多个下游任务上优于全监督学习模型和目前最先进的自我监督学习方法，表明该方法能够学习出具有高泛化性和可迁移性的远程感知表示。

Sep, 2023

该研究探讨了利用空间上下文作为丰富的视觉表征的监督信号的方法。通过从每个图像中提取随机配对的路径来训练卷积神经网络，用于预测第二个路径相对于第一个路径的位置，从而实现对目标的识别，并证明该方法在性能上优于其他算法。

May, 2015

本研究提出了一种基于自监督学习的框架 Contrastive Spatial Pre-Training（CSP），用于处理大量具有地理标记信息的图像，通过对地理信息进行编码和对比学习，可以提高模型在图像分类任务中的性能。

May, 2023

这篇研究报告探讨了视觉和语言推理需要对视觉概念、语义和语言基础以及两种模式之间的相互作用进行感知，并评估了现有的 Vision-and-language 模型对于空间理解的忠实度。研究者提出了两个目标，利用现成的深度估计器，设计了关于三维空间推理的代理任务来训练 Vision-and-language 模型，使得在视觉问答挑战中取得了显著的表现改善。

Sep, 2021

我们提出了一种自我监督的图像冗余减少框架，称为学习排名补丁（LTRP），它通过推断每个补丁的语义密度得分，并学习使用伪分数对补丁进行排序，充分评估图像内容，克服了分类归纳偏差的困境，从而在不同数据集和任务上优于监督和其他自我监督方法。

Mar, 2024

这篇论文提出了一种基于自监督学习的特征学习方法，通过预测无标签数据的辅助任务来学习有用的语义表示，并使用线性层来对学习的表示进行下游任务预测，从而显著降低了样本复杂度。

Aug, 2020

该文介绍了一种基于神经网络的动态视觉推理问题的更通用方法，通过学习物体中心表示、自我关注和自监督动力学学习，以实现三个不同领域的最先进表现，在每种情况下都优于针对任务特定定制的专用模块化方法。

Dec, 2020

本研究提出了一种新型的自监督关系式推理算法，通过学习如何区分实体之间的关系，使得在底层神经网络骨干中具备丰富的关系描述能力。该算法在标准数据集、协议和骨干模型上的实验结果表明，它的准确性比现行同类算法平均提高 14％，比最近的最先进算法提高 3％，对提高下游任务的表现非常有效。

Jun, 2020

该论文采用对比学习方法提出了一种基于空间区域的卷积神经网络无监督训练方法，可与传统的神经网络结构和训练技巧相结合，提高模型性能。

Nov, 2016