基于自主车辆的关键挑战是准确检测环境中的物体。我们引入 PatchContrast，这是一个创新的自我监督点云预训练框架，用于 3D 物体检测。通过提出两个抽象层次的利用，我们学习未标记数据的判别性表示：提案级别和补丁级别。提案级别旨在确定物体相对于周围环境的位置，而补丁级别增加了关于物体组件之间内部连接的信息，从而根据它们的独立组件区分不同的对象。我们展示了如何将这些级别集成到自我监督预训练中以增强下游的 3D 检测任务，并证明我们的方法在三个常用的 3D 检测数据集上优于现有的最先进模型。

Aug, 2023

DetCo 是一种创新的对比学习方法，通过充分探索全局图像和局部图像补丁之间的对比，学习有助于目标检测的判别性表示，实验表明其不仅在目标检测方面优于现有方法，在分割，姿态估计和三维形状预测方面也显著优于监督方法。

Feb, 2021

SimCLR 是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。

Feb, 2020

本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法（DCL），并对其进行了在多种基准测试中的复现和实时检验，最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。

Oct, 2021

通过合成图像和合成标题无需真实数据地学习视觉表征，SynCLR 方法在对合成图像进行对比学习的基础上，将得到的表征在多个下游任务中转移，与其他通用视觉表征学习算法相比，在图像分类任务中表现出色；此外，在诸如语义分割等密集预测任务中，SynCLR 比以往自监督方法有显著优势。

Dec, 2023

本文介绍了一种名为 Multi-Level Contrastive Learning for Dense Prediction Task (MCL) 的自监督学习方法，该方法通过实现一种装配多尺度图像的贡献任务，显式地编码绝对位置和比例信息，从而使神经网络能够学习区域语义表示。实验表明，MCL 在各种数据集上始终优于最新的现有方法。

Apr, 2023

本文介绍了一种基于像素的密集自监督学习方法，通过考虑局部特征之间的对应关系，实现了对密集预测任务的有效优化，包括物体检测，语义分割和实例分割。与基线方法 MoCo-v2 相比，该方法仅引入了微不足道的计算开销，但表现出了更好的性能。

Nov, 2020

本论文引入了 LeOCLR（Leveraging Original Images for Contrastive Learning of Visual Representations），一种新的实例辨识方法和适应的损失函数，以保证正样本之间的共享区域在语义上是正确的，实验证明我们的方法在不同数据集上始终比基线模型改进了表征学习。 例如，在线性评估中，我们的方法在 ImageNet-1K 上比 MoCo-v2 提高了 5.1％，在迁移学习任务中也超过了其他几种方法。

Mar, 2024

提出了 TransClippedCLR 模型，通过编码图像的全局上下文和局部上下文，使用产品量化生成哈希码，并通过剪切对比学习避免潜在的错误负对，实现了在基准数据集（包括 CIFAR10、NUS-Wide 和 Flickr25K）上无监督图像检索的卓越性能，相较于最新的深度模型，在所有数据集上使用所提出的剪切对比学习相比于使用相同基础网络的普通对比学习，取得了显著的改善。

Jan, 2024

本文介绍了一种新的无监督和半监督领域适应方法，利用对比学习通过对跨域中的结构相似标签块的特征进行对齐来弥合域差距，以便更容易训练和提高性能。此方法在两个具有挑战性的领域适应分割任务中始终优于现有的无监督和半监督方法，特别是当目标域注释数量很小时。

Apr, 2021