带核的条件对比学习

Feb, 2022

Conditional Contrastive Learning with Kernel

Yao-Hung Hubert Tsai, Tianqin Li, Martin Q. Ma, Han Zhao, Kun Zhang...

TL;DR本文提出了一种新型的基于核函数嵌入算子的条件对比学习框架 (CCL-K)，并在弱监督，公平性和困难负样本对比学习方面进行了实验，结果表明 CCL-K 优于现有的基线模型。

Abstract

conditional contrastive learning frameworks consider the conditional sampling procedure that constructs positive or negative data pairs conditioned on specific variables. Fair contrastive learning constructs negative pairs, for example, from the same gender (conditioning on sensitive i

conditional contrastive learning weakly supervised learning fair learning kernel conditional embedding operator representation learning

发现论文，激发创造

对比学习作为核逼近

通过对无标签数据进行对比学习，可以生成低维的特征向量表示，这些特征向量可以作为输入来提高有标签数据上的监督学习系统的准确性，并探讨了对比损失函数的最小化器及其与以往学习无标签数据方法的关系。

Sep, 2023

端到端监督式多标签对比学习

该研究提出了一种新的端到端训练框架 ——KMCL（基于核的多标签对比学习），以解决模型和数据中心设计的缺点。KMCL 通过将嵌入特征转化为高斯 RKHS 中指数核的混合，然后进行目标损失编码，包括重构损失、非对称分类损失和对比损失来捕捉标签相关性。该框架同时考虑特征编码器的不确定性，并保持较低的计算量。通过对图像分类任务进行广泛实验，展示了 KMCL 相对于 SOTA 方法的一致改进。PyTorch 实现详见 https://github.com/mahdihosseini/KMCL。

Jul, 2023

对比学习可寻找大致视角不变函数的最优基础

本文阐述了对比学习的核函数学习方法，将其应用于 PCA 表征中，证明其具有良好的泛化性能。研究基于正对偶马尔科夫链的特征值分解方法，经实验证明表征的准确性取决于核函数参数和增强强度。

Oct, 2022

对比学习的合成硬负样本

本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

Apr, 2023

带负采样校正的对比学习

提出了一种名为 Positive-Unlabeled Contrastive Learning（PUCL）的新型对比学习方法，通过将负样本视为无标签样本，并利用正样本信息来修正对比损失，从而纠正了负采样偏差并提高了性能。

Jan, 2024

对比聚类

本文提出一种名为对比聚类 (Contrastive Clustering,CC) 的在线聚类方法，该方法实现了实例级和簇级对比学习，通过最大化正样本对的相似度和最小化负样本对的相似度，在特征空间中分别进行行级和列级的对比学习，同时优化实例级和簇级对比损失，在端到端的方式下联合学习表示和簇分配。实验结果表明，CC 在六项具有挑战性的图像基准任务中显着优于 17 种竞争对手的聚类方法，特别是在 CIFAR-10 和 CIFAR-100 数据集上，CC 的 NMI 分别为 0.705 和 0.431，相较于最佳基线提高了多达 19% 和 39%。

Sep, 2020

最大间隔对比学习

本研究在无监督学习中采用了最大化分类器决策边界的最大间隔对比学习方法，通过 SVM 优化问题选择出稀疏支持向量作为负样本，并优化算法以减小计算复杂度，从而在视觉基准数据集中获得了更好的无监督表征学习性能。

Dec, 2021

基于聚类的对比学习，以提高人脸表征

本文提出了一种名为 CCL 的基于聚类的对比学习方法，利用聚类得到的标签和视频约束来学习具有区分性的人脸特征，展示了该方法在视频人脸聚类的表征学习任务上的显著成果。

Apr, 2020

弱监督对比学习

提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

Oct, 2021

通过相似性结构理解对比学习机制：理论分析

本文探讨了如何通过核心对比学习框架（KCL）的统计依赖性视角计算已学习的表示的相似性结构并研究了该框架的理论特性，包括分类错误上界的新证明和通向下游分类任务的 KCL 泛化性能保证。

Apr, 2023