本文从优化的角度研究对比学习，提出了一种内存效率高的随机优化算法 ——SogCLR，可解决现有对比学习方法依赖大批量数据或特征向量词典的问题，并在自监督学习任务中取得了与 SimCLR 相似的性能。
Feb, 2022
该论文介绍了一种称为渐变缓存的技术，该技术使用批次内负样本来学习高质量表示，并使得梯度可以逐个子集计算，从而减少内存使用。
Jan, 2021
本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。
Apr, 2020
本文提出了 BatchSampler 技术，通过从输入数据中采样 mini-batches，从而改进对比学习，实验表明，BatchSampler 能够一直提高强大的对比模型的性能。
Jun, 2023
本研究提出一种新的批处理采样方法，Global Contrastive Batch Sampling （GCBS），作为 hard negative mining 的有效替代。实验证明，GCBS 可以显着提高句向量和代码搜索任务的性能，而且实现简单、计算效率高，并不需要更改模型。
Oct, 2022
通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。
Apr, 2023
不同对比学习（CL）损失函数实际上都优化了什么？通过分析多个 CL 方法，我们证明它们在某些条件下，在优化批级目标或渐近期望时，都具有相同的极小化解。在两种情况下，我们发现它们与超球面能量最小化（HEM）问题密切相关。我们根据这一点的启示，提出了一种新的 CL 目标，命名为分离的超球面能量损失（DHEL）。DHEL 通过将目标超球面能量与正样本的对齐解耦，简化了问题，同时保持了相同的理论保证。更进一步，我们展示了另一个相关的 CL 家族 —— 核对比学习（KCL）也具有相同的结果，此外，预期损失与批次大小无关，从而确定了非渐近区域的极小化解。经验结果表明，在多个计算机视觉数据集上，在不同批次大小和超参数组合以及降维崩溃方面均实现了改进的下游性能和鲁棒性。
May, 2024
本研究在无监督学习中采用了最大化分类器决策边界的最大间隔对比学习方法，通过 SVM 优化问题选择出稀疏支持向量作为负样本，并优化算法以减小计算复杂度，从而在视觉基准数据集中获得了更好的无监督表征学习性能。
Dec, 2021
研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。
Oct, 2020
本文通过实验证明：监督对比损失学习到的嵌入空间的几何结构形成正交框架，而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小；同时，通过选取不同的数据分组算法，加快正交框架的出现，为监督学习提供一种新的训练策略