有监督对比损失学习正交框架及批次关系
我们提出了一种修改对比损失函数来调整学习特征嵌入几何结构的方法，通过使用原型在每个批次中引导学习嵌入和原型的几何一致性，并在深度神经网络上基于基准视觉数据集进行了一系列实验证实。
Oct, 2023
通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。
Nov, 2020
将 SCL 问题描述为 RoBERTa 语言模型精调阶段的多目标优化问题，使用线性标量化方法和精确 Pareto 最优解法解决优化问题，在多个 GLUE 基准任务上，无需使用数据增强、存储器库或生成对抗性示例，找到了比竞争对比学习基线更好的学习策略。
Sep, 2022
我们介绍了一种 Label-Aware SCL 方法，通过利用类别之间的相似性，将层次信息融入到 SCL 中，从而创建一个更结构化和具有辨别性的特征空间，实现了更好的文本分类性能。
Jan, 2024
本研究旨在解决对比学习中普遍存在的不稳定问题，具体研究 InfoNCE 损失函数及其导数。我们揭示了这些损失函数表现出的一种限制行为，导致嵌入倾向于融合成一个奇异点的收敛现象，从而对后续的有监督学习任务中的分类准确性产生不利影响。通过理论分析，我们证明当嵌入被等化或限制在一个一维线性子空间时，它们代表了 InfoNCE 的一个局部最小值。我们的研究提出了一种创新策略，利用与精调阶段中通常使用的标记数据相同或更少的数据。我们提出的损失函数，正交锚回归损失，旨在解开嵌入聚类，显著增强每个嵌入的独特性，同时确保它们聚合到密集的、明确定义的聚类中。我们的方法在 CIFAR10 和 CIFAR100 数据集上通过仅使用传统标记要求的一小部分数据取得了显著改善，这一点可以从实验结果中得到证明。
Mar, 2024
本文提出一种半监督对比学习 (Semi-supervised Contrastive Learning，简称 SsCL) 的训练策略，将自监督学习中著名的对比损失与半监督学习中的交叉熵损失相结合，进而联合优化两个目标，并使用神经网络来实现。结果表明，SsCL 产生了更具有区分性的表示，并对于少样本学习非常有益。在使用 ResNet50 作为后端的 ImageNet 数据集上，SsCL 分别以 1% 和 10% 的标记样本获得了 60.2% 和 72.1% 的 top-1 精度，这比基线要好得多，也优于以前的半监督学习和自监督学习方法。
May, 2021
对于一种广泛研究的数据模型和一般损失和样本硬化函数，我们证明了监督对比学习（SCL）、强制对比学习（HSCL）和无监督对比学习（UCL）的风险在表现出神经塌缩（NC）的表示下被最小化，即类别平均值形成一个等角紧框架（ETF），同一类别的数据映射到相同的表示。我们还证明了对于任何表示映射，相应的 HSCL 和 Hard-UCL（HUCL）的风险都被相应的 SCL 和 UCL 的风险下界约束。虽然 ETF 对于 SCL 的最优性已知，但只在 InfoNCE 损失情况下有效，然而在一般损失和硬化函数下，对于 HSCL 和 UCL 的最优性是新颖的。此外，我们的证明更为简洁、紧凑且透明。我们通过实验证明，初次尝试使用随机初始化和适当的硬度级别下的 HSCL 和 HUCL 风险的 ADAM 优化，结合单位球或单位球面特征归一化，确实可以收敛到 NC 几何形状。然而，不加入硬负样本或特征归一化的情况下，通过 ADAM 学习的表示存在维度塌缩（DC），并不能达到 NC 几何形状。
Nov, 2023
本研究提出自我对比学习算法，并将其应用于会话推荐问题中，以优化物品表示空间的均匀度和减少模型复杂度，进而实现比之前的算法更好的预测性能。研究证明，该算法不需要额外的采样和数据增强操作，并在三个基准数据集上得到了统计上显著的性能提升。
Jun, 2023
本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。
Jun, 2023