可识别的对比学习与自动特征重要性发现
本文提出了 FactorCL，一种新的多模态表示学习方法，旨在捕获有助于下游任务的共享信息和独特信息，该方法通过将任务相关信息分解为共享和独特表示，并通过最大化 MI 下限来捕获任务相关信息以及通过最小化 MI 上限来消除任务不相关的信息，并使用多模态数据增强来近似任务相关性。实验证明 FactorCL 在六项基准测试上取得了最先进的结果。
Jun, 2023
本文提出了 TriCL（三向对比学习）- 一种针对超图的对比学习框架，结合了数据扩充和负采样机制，使模型能够在节点嵌入中捕获微观和介观结构信息，并在多个基准测试中表现出色，尤其是在节点分类方面取得了显着的优势。
Jun, 2022
通过定义多种机制以及与机制特定的潜在变量，本文证明了对比学习可以在多模式下阻止识别那些在模态之间共享的潜在因素，从而为多模式表示学习提供了理论基础，并说明了在哪些情况下多模式对比学习在实践中有效。
Mar, 2023
通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。
Apr, 2023
本文提出了一种名为 GraphSC 的新型图自我对比框架，它使用图自身通过图增强函数生成正负样本，并使用 Hilbert-Schmidt 独立准则对表示进行分解并引入掩蔽自我对比机制以更好地区分正负样本，同时通过显式减小锚点和正样本之间的绝对距离来加快收敛，并在无监督和迁移学习设置下与其他 19 种最先进方法进行了广泛实验评估。
Sep, 2023
本文提供了第一个统一的理论框架，旨在确定对比学习 (CL) 学习了哪些特征。我们的分析表明，(随机) 梯度下降向查找更简单解决方案的偏见是导致子类表示崩溃和抑制更难的类相关特征的关键因素。此外，我们提出了增加嵌入维度和提高数据增强质量作为两个理论动机解决 {特征抑制}。我们还首次理论解释了为什么同时使用监督和无监督 CL 会产生更高质量的表示，即使用常用的随机梯度方法。
May, 2023
本文提出了一种新的自监督学习方法 CLD，通过交叉等级判别来发现和整合实例相似性，显著改善对高度相关，长尾分布和平衡数据集的自监督学习，并在许多基准测试中取得了新的最佳性能。
Aug, 2020
通过非负对比学习（NCL），我们提出非负矩阵分解（NMF）的新应用，旨在提取可解释的特征，在数学上与 NMF 目标保持一致，不仅在特征区分度、特征选择方面表现出众，而且在下游分类任务中表现优异。
Mar, 2024