Jul, 2023

端到端监督式多标签对比学习

PDF
TL;DR该研究提出了一种新的端到端训练框架 ——KMCL（基于核的多标签对比学习），以解决模型和数据中心设计的缺点。KMCL 通过将嵌入特征转化为高斯 RKHS 中指数核的混合，然后进行目标损失编码，包括重构损失、非对称分类损失和对比损失来捕捉标签相关性。该框架同时考虑特征编码器的不确定性，并保持较低的计算量。通过对图像分类任务进行广泛实验，展示了 KMCL 相对于 SOTA 方法的一致改进。PyTorch 实现详见 https://github.com/mahdihosseini/KMCL。
multilabel representation learninglabel dependenciesend-to-end training frameworkkmclkernel-based multilabel contrastive learning
发现论文，激发创造
  • 在线对比学习的知识蒸馏在视觉识别中的应用

    论文提出了一种互惠对比学习（MCL）框架来进行基于网络的集成学习，可以提高模型的特征表达能力，从而提高视觉识别任务的性能。

    Jul, 2022

  • 双重对比学习：基于标签感知数据增强的文本分类

    本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

    Jan, 2022

  • 密集预测任务的多级对比学习

    本文介绍了一种名为 Multi-Level Contrastive Learning for Dense Prediction Task (MCL) 的自监督学习方法，该方法通过实现一种装配多尺度图像的贡献任务，显式地编码绝对位置和比例信息，从而使神经网络能够学习区域语义表示。实验表明，MCL 在各种数据集上始终优于最新的现有方法。

    Apr, 2023

  • 使用受监督的卷积核网络进行端到端核学习

    本文提出了一种基于多层核机的图像表示方法，并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络，在一些深度学习数据集上取得了良好的分类表现，表明了该方法在图像相关任务中的应用价值。

    May, 2016

  • ProbMCL：简单的多标签视觉分类概率对比学习

    在多标签图像分类任务中，我们提出了一种名为 Probabilistic Multi-label Contrastive Learning (ProbMCL) 的新框架，通过结合有监督对比学习和混合密度网络来解决现有方法中的挑战，并在计算机视觉和医学影像领域的数据集上验证了其有效性和低计算成本。

    Jan, 2024

  • 无偏监督对比学习

    本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

    Nov, 2022

  • 最大间隔对比学习

    本研究在无监督学习中采用了最大化分类器决策边界的最大间隔对比学习方法，通过 SVM 优化问题选择出稀疏支持向量作为负样本，并优化算法以减小计算复杂度，从而在视觉基准数据集中获得了更好的无监督表征学习性能。

    Dec, 2021

  • 多标签图像分类的语义感知双对比学习

    通过引入样本对间对比学习和原型 - 样本对比学习，提出了一种新颖的语义感知双对比学习框架，通过联合训练三个模块，准确捕捉与图像内容相关的判别性标签级特征，并在五个具有挑战性的大规模公共数据集上实验证明了该方法的有效性优于现有技术。

    Jul, 2023

  • 视觉表征学习的互惠对比学习

    Mutual Contrastive Learning (MCL) is a powerful method for improving feature representations for visual recognition tasks through the mutual interaction and transfer of contrastive distributions among a cohort of networks, achieved through the use of Interactive Contrastive Learning (ICL) to aggregate cross-network embedding information.

    Apr, 2021

  • 弱监督对比学习

    提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

    Oct, 2021