理解对比损失的行为
本文提出了一种用分布鲁棒优化方法系统地优化具有个性化温度对比损失的自监督学习的方法，该方法基于数据分布特点，对超参数进行了自动调整，并在实验中表现出优于已有方法的性能。
May, 2023
通过研究温度超参数，我们提出了一个基于余弦相似度的温度缩放函数，有效优化特征空间中样本的分布，并通过对余弦相似度空间中的均匀性和容忍度度量进行综合分析，展示了该方法在半监督学习中优于或与对比损失为基础的算法相当的性能，并为对比学习领域的未来研究奠定了基础。
Aug, 2023
本研究分析了一种被广泛应用于自我监督学习中的对比度方法在长尾数据上的表现，发现通过动态调整温度参数可以显著提高学习表示，平衡了实例与组特征的重要性，并且在不增加计算成本的情况下，有助于完善类别的划分。
Mar, 2023
文章证明了反差编码的损失函数在无限时刻能够最优化归一化特征空间的相似度与均匀分布，并通过实验优化这两个特征的评估，在视觉和语言数据上显著提高效果。
May, 2020
本研究通过分析现有的均匀性度量方法的局限性，提出了一个新的均匀性度量指标，该指标能更准确地衡量学习表示的均匀性，并在各种自监督学习方法中作为辅助损失应用时显著提升它们在下游任务中的性能。
Mar, 2024
本文提出了一种基于对比学习的新的损失函数 TCL，该函数能够推广到批处理的多个正负样本，同时提供了参数来调整梯度响应，优化了难例的响应，理论和实验都证明了它的效果优于 SupCon
May, 2023
研究了自我监督学习中一种流行的方法 —— 对比学习，在此基础上通过数学量化数据增强方法的度量，探讨了其泛化能力与三个关键因素的相关性 —— 正样本的一致性、类中心的分离度以及数据增强的集中度，并使用实验验证了后者对最终性能的影响。
Nov, 2021
本文引入 PAUC 方法来学习基于原型的对比表示，以优化下游任务中需要强语义信息的有意义的表示。在各个基准测试中，实验结果证明了我们的方法在提高对比原型表示的质量方面的有效性，并在 ImageNet-100 数据集上将分类下游任务的性能提高了 2.96％，在 ImageNet-1K 数据集上提高了 2.46％。
Oct, 2022
该论文研究了如何通过有针对性的监督对比学习，提高长尾识别中少数类的识别准确率，提出了针对性的监督对比学习方法 (TSC)，通过让不同类别的特征向量在训练过程中收敛至不同且均匀分布的目标点，从而提高了特征空间的均匀性，改善类别边界，提高了模型的泛化能力，实验结果验证了 TSC 方法在多个数据集上均取得了当下最先进的表现。
Nov, 2021