本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

Apr, 2020

提出一种用于自监督对比学习的方法，包括 false negative 的识别和消除、对抗等策略以及对该问题进行的严格评估。该方法在 ImageNet 数据集上取得了一定的成果，无标签数据集下可以在 1000 个语义类中以 40% 的精度正确识别 false negative，并在有 1% 标签数据下达到了 5.8% 的 top-1 准确率的绝对改进。

Nov, 2020

在自监督学习中，我们提出一种名为DirectPred的新方法，该方法直接基于输入的统计信息而非梯度训练来设置线性预测器。在ImageNet上，该方法的表现与采用BatchNorm的更复杂的两层非线性预测器相当，且在300个epoch的训练中优于线性预测器2.5％（在60个epoch中达到5％）。同时，通过研究非对比性SSL在简单线性网络中的非线性学习动态，我们为这些方法的学习和避免表征崩溃提供了理论洞察力。

Feb, 2021

本研究提出了一种简单而有效的对比学习框架来解决Contrastive Self-supervised Learning (CSL)中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在ImageNet-1K数据集上表现出了超越完全监督训练版本的性能。

Aug, 2022

本文提出了一种自我监督的增量对比学习框架(ICL)，采用增量信息NCE损失函数和深度强化学习率(meta-optimization with LRL)，从而避免了必须重训练的缺点，并在不同领域的广泛实验中取得了16.7倍的训练加速和16.8倍快速收敛的竞争性结果。

Jan, 2023

本文提出了一种基于对比学习的新的损失函数TCL，该函数能够推广到批处理的多个正负样本，同时提供了参数来调整梯度响应，优化了难例的响应，理论和实验都证明了它的效果优于SupCon

May, 2023

该研究通过重现核希尔伯特空间理解现有的许多非对比学习方法，提出了一种新的核SSL损失函数，可直接优化RKHS中的均值嵌入和协方差算子，并在ImageNet数据集上的线性评估设置下大幅优于现有技术方法。

May, 2023

我们介绍了一种名为CLCE的新方法，将标签感知对比学习与CE相结合，通过有效的负样本挖掘增强性能，在少样本学习和迁移学习中使得CLCE显著优于CE。

Feb, 2024

不同对比学习（CL）损失函数实际上都优化了什么？通过分析多个CL方法，我们证明它们在某些条件下，在优化批级目标或渐近期望时，都具有相同的极小化解。在两种情况下，我们发现它们与超球面能量最小化（HEM）问题密切相关。我们根据这一点的启示，提出了一种新的CL目标，命名为分离的超球面能量损失（DHEL）。DHEL通过将目标超球面能量与正样本的对齐解耦，简化了问题，同时保持了相同的理论保证。更进一步，我们展示了另一个相关的CL家族——核对比学习（KCL）也具有相同的结果，此外，预期损失与批次大小无关，从而确定了非渐近区域的极小化解。经验结果表明，在多个计算机视觉数据集上，在不同批次大小和超参数组合以及降维崩溃方面均实现了改进的下游性能和鲁棒性。

May, 2024

本研究解决了当前对比学习中仅依赖“简单”正样本的问题，提出了一种新方法——利用合成图像作为附加正样本的对比学习（CLSP）。通过这一方法，模型在训练中能够从多样化的正样本中学习，实验证明与传统方法相比，性能提升超过2%和1%，在多个基准数据集上达到了最先进的效果。

Aug, 2024