本研究探索了将图像级别与局部级别的判别相结合的自我监督表示学习方法，通过同时观察局部和全局视觉特征来增强学习表示的质量。我们提出了一个简单而有效的补丁匹配算法，借助视觉变换器（ViT）作为骨干网络，从而生成图像级别和补丁级别的表示。结果显示，我们的方法在图像分类和下游任务中表现优于最先进的图像级别表示学习方法。

Oct, 2023

本文介绍了一种简单、易于解释的方法 VICReg，结合了方差约束、冗余降维和协方差正则化等策略，可以解决自我监督学习中模型输出恒定向量的问题，并能在图像表征学习等多个下游任务中达到与现有方法相当的性能水平。

May, 2021

通过自监督局部微观对比学习任务，将细微的局部特征学习融合到全局自监督对比学习中，形成一个纯自监督的全局 - 局部微细对比学习框架，从而有效提高了细粒度图像特征表示的品质。

Mar, 2024

提出了基于全局和局部特征表示的多网络对比学习框架，通过多个网络引入自监督对比学习的全局和局部特征信息，并通过对比由多个网络生成的嵌入对来学习图像不同尺度上的特征信息，并扩展对比样本数，提高了模型的训练效率。在三个基准数据集上的线性评估结果表明，我们的方法优于几种现有的经典自监督学习方法。

Jun, 2023

本研究提出了一种新颖的对比学习框架，它将本地化区域对比技术（LRC）融入到现有的半监督自监督预训练方法中，以增强医学图像分割的性能。通过在三个多器官分割数据集上的大量实验，我们证明在受限注释的情况下将 LRC 集成到自监督方法中可以显著提高分割性能。此外，我们还表明 LRC 也可以应用于完全监督的预训练方法以进一步提高性能。

Apr, 2023

利用自监督学习方法提升视觉地理定位技术性能和训练效率，通过统合 SimCLR、MoCov2、BYOL、SimSiam、Barlow Twins 和 VICReg 等多种自监督学习方法，研究训练策略和参数设置对视觉地理定位任务的适应性

Jul, 2023

该文提出了一个名为 DELG 的新模型，将全局和本地特征统一为一个深度模型，同时提出了一种自编码器的降维技术，该模型在图像检索和识别方面的表现都达到了最新的水平。

Jan, 2020

基于对特定变换的区分，我们提出了一种自监督特征学习的新原则，指出所学特征的泛化能力取决于较大的图像邻域大小和其能够描述的更全局的图像统计信息，这可以 better represent objects' shape and configuration 以及它们的上下文，最终将泛化到新任务，如对象分类和检测。根据这个标准，我们引入了一种新的图像变换，称为 limited context inpainting (LCI)，它仅在小矩形像素边界（有限的上下文）的条件下填充图像，而由于边界信息有限，因此涂鸦者可以学习匹配局部像素统计信息，但不太可能匹配图像的全局统计信息。我们声称可以使用同样的原则来验证变换性能，例如图像旋转和扭曲， 确实，我们实验表明，学习区分 LCI、图像扭曲和旋转等变换，产生了状态良好的泛化功能，可应用于多个数据集，如 Pascal VOC、STL-10、CelebA 和 ImageNet。值得注意的是，我们训练的特征在 Places 数据集上的表现与通过带 ImageNet 标签的监督学习训练的特征相当。

Apr, 2020

提出了一种自监督学习方法，适用于对象检测和语义分割等半全局任务，通过在训练期间最小化像素级的本地对比损失（LC-loss），在自学习特征中强制实现对变换后的同一图像的相应图像位置之间的本地一致性，可将 LC-loss 添加到现有的自监督学习方法中，并在 COCO、PASCAL VOC 和 CityScapes 数据集上评估 SSL 方法，结果比现有的先进自监督学习方法在 COCO 对象检测、PASCAL VOC 检测和 CityScapes 分割等任务上分别提高了 1.9％，1.4％和 0.6％。

Jul, 2022

通过数据驱动的前景显著性估计和复制粘贴来生成图像视图，实现对背景不变性的学习，从而训练代表性忽略背景内容并专注于前景的对比学习模型，并实现了在 ImageNet 分类和 PASCAL VOC、MSCOCO 目标检测上的显著性能提升。

Apr, 2020