本文研究将对比学习应用于医学图像分析领域，发现在医学图像上应用最先进的对比学习方法 MoCo v2 存在维度坍缩问题，并提出了局部特征学习和特征去相关两项关键贡献，实验证明这两个贡献显著提升了模型在医学分割任务的性能。本研究突显了将自监督学习技术有效适应医学图像任务特征的重要性。

Feb, 2024

我们的研究表明，非对比自监督学习方法可以通过学习理想的投影矩阵来降低下游任务的样本复杂度，并且我们还设计了一个更简单、更高效的算法 DirectCopy，其可以成功地应用于 STL-10、CIFAR-10、CIFAR-100 和 ImageNet 数据集，表现良好。

Oct, 2021

提出了一种新的不完整多视图对比聚类框架，它直接优化了潜在特征子空间，并利用学习的特征向量及其子向量进行重建学习和一致性学习，从而有效地避免了维度崩溃，同时通过交叉视图预测机制来恢复不完整数据，采用最小条件熵来丢弃不一致信息，进一步避免私有信息的影响。实验结果表明，该方法在 5 个公共数据集上实现了最先进的聚类结果。

Mar, 2023

通过比较对比句子嵌入方法中的标准基准 SimCSE 与计算机视觉社区中被称为维度对比的自监督损失函数和方法，我们发现使用维度对比目标训练的自监督嵌入能够在下游任务中胜过 SimCSE 而无需辅助损失函数。

Oct, 2023

SimCLR 是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。

Feb, 2020

通过解决先验任务从无标签数据集中选择和比较 anchor、negative 和 positive 特征来学习有用的表示，我们提出了一个概念性框架，该框架从数据增强管道、编码器选择、表示提取、相似性度量和损失函数五个方面表征对比自监督学习方法。我们分析了三种主要的 CSL 方法 - AMDIM、CPC 和 SimCLR-，并表明它们是这个框架下的特殊情况。通过设计 Yet Another DIM（YADIM），我们展示了我们框架的效用，该方法在 CIFAR-10、STL-10 和 ImageNet 上取得了竞争性结果，并且对编码器的选择和表示提取策略更具鲁棒性。为了支持正在进行的 CSL 研究，我们发布了此概念框架的 PyTorch 实现，以及 AMDIM、CPC（V2）、SimCLR、BYOL、Moco（V2）和 YADIM 的标准化实现。

Aug, 2020

该论文提出了一种非最大值移除图对比学习方法，用于解决图对比学习中维度塌陷的问题，并在多种基准数据集上进行了全面的实验证明了该方法的有效性。

Mar, 2022

本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

Aug, 2022

该研究论文提出了沿着维度方向进行对比学习（Dimensional Contrastive Learning，DimCL）的策略，以增强特征多样性并作为自主学习框架的正则化器，实验证明将 DimCL 融入自主学习框架能够在各种数据集和骨干架构上显著提高性能。

Sep, 2023

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020