我们提出了一种修改对比损失函数来调整学习特征嵌入几何结构的方法，通过使用原型在每个批次中引导学习嵌入和原型的几何一致性，并在深度神经网络上基于基准视觉数据集进行了一系列实验证实。
Oct, 2023
本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。
Apr, 2020
本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。
Nov, 2022
本文提出了一种新的辅助监督信号 —— 对比中心损失，它能够进一步增强特征的区分能力，通过惩罚训练样本到它们对应类别中心距离的对比值和样本到非对应类别中心距离之和的对比值同时考虑了类内紧凑性和类间可分性。在不同的数据集上的实验证明了对比中心损失的有效性。
Jul, 2017
研究了 embedding geometry 对 softmax losses 在分类和图像检索任务中的影响，并提出了一个基于 von Mises-Fisher 分布的概率分类器，在产生改进的 out-of-the-box 校准的同时，与现有技术方法相比具有竞争力。
Mar, 2021
通过向 SupCon 添加适当加权的类条件 InfoNCE 损失和类条件自编码器，可以在 5 个标准数据集上实现从粗糙到细致的迁移，以及在 3 个数据集上实现最差组的鲁棒性提高 4.7 个点，同时在 CelebA 上达到 11.5 个点的最优表现。
Apr, 2022
本文通过实验证明：监督对比损失学习到的嵌入空间的几何结构形成正交框架，而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小；同时，通过选取不同的数据分组算法，加快正交框架的出现，为监督学习提供一种新的训练策略
Jun, 2023
本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。
通过引入 Gini impurity 所启发的新损失项和最小化两个高级特征分布之间的 Kullback-Leibler 散度，我们在两个图像分类数据集上进行了实验，并得出结论，将我们的新损失项集成到训练目标中始终优于仅使用交叉熵训练的模型，在不增加推理时间的情况下。
Feb, 2022
通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。
Nov, 2020