对比学习作为核逼近
本文阐述了对比学习的核函数学习方法,将其应用于 PCA 表征中,证明其具有良好的泛化性能。研究基于正对偶马尔科夫链的特征值分解方法,经实验证明表征的准确性取决于核函数参数和增强强度。
Oct, 2022
本研究研究了时间序列的情况,特别是从一个强混合连续时间随机过程中获取数据。我们展示了适当构造的对比学习任务可以用于估计扩散情况下小到中等范围间隔的转移核。此外,我们给出了解决这个任务的样本复杂度界限,并定量表征了对比损失值对学习核分布密切性的影响。作为副产品,我们阐明了对比分布的恰当设置,以及在这个设置中的其他超参数。
Mar, 2021
本文提出了一种理论框架以分析对比学习的算法,并引入潜在类别假设,该框架使我们能够在平均分类任务上证明学习表示的性能。同时,该文还表明,学习表示可以降低下游任务的(标记)样本复杂度。
Feb, 2019
本文探讨了对比学习在文档分类中的应用。与传统方法相比,利用对比学习方法能更好的学习到文档的表征,并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。
Mar, 2020
本文探讨了如何通过核心对比学习框架(KCL)的统计依赖性视角计算已学习的表示的相似性结构并研究了该框架的理论特性,包括分类错误上界的新证明和通向下游分类任务的 KCL 泛化性能保证。
Apr, 2023
本文针对对比度学习的隐私问题进行了首次隐私分析,实验结果表明,相对于监督学习模型,对比学习模型更易受到属性推断攻击,但其会导致的成员推断攻击风险较小。为解决这一问题,提出了一种新的隐私保护对比度学习机制 Talos,通过对抗式训练成功地缓解了属性推断威胁,同时保持了其成员隐私和模型效用。
Feb, 2021
本文研究基于对比学习的监督式分类学习策略,提出了一种混合网络结构,用于从不平衡的数据中学习更好的图像表征,以提高分类精度。具体而言,我们探索了两种对比损失的变体,以推动特征学习,从而实现更好的分类器。实验结果表明,基于对比学习的混合网络在长尾分类中优于传统方法。
Mar, 2021
本文研究了对比学习的等价性和理论基础,并建立了对比学习与谱聚类算法之间的等价性。同时,我们探讨了多模态对象是如何相似地嵌入在一起的,并提出了一种新的核混合损失,相较标准高斯核在几个视觉数据集上有更好的表现。
Mar, 2023
本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功,需要考虑算法和函数类的归纳偏差,特别是对于线性表示,加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。
Feb, 2022