CVPRApr, 2022

使用所有标签：一种分层多标签对比学习框架

PDF
TL;DR本文提出了一种层次化多标签表征学习框架，该框架可以利用所有可用标签并保留类别之间的层次关系，并引入新颖的层次保持损失。该方法是数据驱动的，自动适应任意多标签结构。实验表明，我们的关系保持嵌入在各种任务上表现良好，优于基线监督式和自监督式方法。
contrastive learninghierarchical multi-label representation learninghierarchy preserving lossesdata driven loss functionrelationship-preserving embedding
发现论文，激发创造
  • 使用监督对比学习学习标签层次

    我们介绍了一种 Label-Aware SCL 方法，通过利用类别之间的相似性，将层次信息融入到 SCL 中，从而创建一个更结构化和具有辨别性的特征空间，实现了更好的文本分类性能。

    Jan, 2024

  • HCL：基于分层对比学习的图像表示改进

    在图表征学习中，提出了一种新的分层对比学习 (Hierarchical Contrastive Learning, 简称 HCL) 框架，采用自适应的 L2Pool 方法进行更合理的多尺度图形拓扑构建，并采用多通道伪孪生网络来进一步扩展各级别内的互信息学习，以获得更丰富和更具层次感的表示。通过实验，HCL 在节点分类、节点聚类和图分类等 12 个数据集上均取得了具有竞争力的性能表现，并且通过可视化显示，HCL 成功捕捉到了图的有意义特征。

    Oct, 2022

  • 异构对比学习

    本论文提出了一个统一的异构学习框架，通过结合加权无监督对比损失和加权有监督对比损失来解决对比学习中的假阴性对问题，从而模拟多种异构性的数据。实验结果表明，该方法在模拟复杂数据时具有较好的效果和高效性。

    May, 2021

  • 基于全局和局部表示的多网络对比学习

    提出了基于全局和局部特征表示的多网络对比学习框架，通过多个网络引入自监督对比学习的全局和局部特征信息，并通过对比由多个网络生成的嵌入对来学习图像不同尺度上的特征信息，并扩展对比样本数，提高了模型的训练效率。在三个基准数据集上的线性评估结果表明，我们的方法优于几种现有的经典自监督学习方法。

    Jun, 2023

  • 税收是您所需的一切：将分类层次关系集成到对比损失中

    我们提出了一种新型的监督对比损失函数，在表示学习过程中引入了分类树结构信息。该损失函数通过强制要求具有相同类标签（正样本）的图像在投影空间中比具有不同类标签（负样本）的图像更接近彼此来实现。该方法的优势在于它直接惩罚表示空间的结构，这使得在编码语义概念方面具有更大的灵活性。然而，标准的监督对比损失函数只基于下游任务（即类标签）强制执行语义结构。我们展示了通过在对比损失中明确考虑这些关系，采用加权惩罚的方式，可以超过监督对比损失。此外，我们将分类树的概念融入医学和噪声环境的设置中，表现出高达 7% 的性能提升。

    Jun, 2024

  • 层次感知联合对比学习实例和标签用于层次多标签文字分类

    通过使用层次化多标签文本分类和对比学习的方法，提出了一种叫做 HJCL 的方法来解决半监督学习中样本生成引入噪声的问题，并构造批次数据以实现对比学习目标的完全利用。

    Oct, 2023

  • 多尺度和跨尺度对比学习用于语义分割

    本研究考虑应用监督对比学习提高语义分割中多尺度特征的判别能力，并通过有效的采样过程与跨尺度对比学习方法进一步提高模型性能。

    Mar, 2022

  • 面向跨语言口语理解的标签感知多层对比学习

    本研究提出一个基于对话、槽位和单词水平的对比学习框架来显式对齐跨语言口语理解中隐含语义结构的多语种混合方法，通过引入硬负样本和标签关联联合模型，取得了两个零 - shot 跨语言口语理解的基准数据集中显著的性能改进。

    May, 2022

  • 层级标签拓展的在线持续学习

    通过多级分层标签扩展的在线学习约束，我们提出了一种新的多级分级类增量任务配置，该配置允许网络首先学习粗粒化类别，并在各个层次深度中不断扩展到更精细粒度的类别。通过利用层次感知的伪标签技术，结合简单而有效的记忆管理和采样策略，我们的方法能够在所有层次的分层结构中显著提高分类准确性，无论层次深度和类别不平衡比例如何，并且在传统的不相交、模糊和 i-Blurry 的连续学习设置上也优于现有的最先进方法。

    Aug, 2023

  • 端到端监督式多标签对比学习

    该研究提出了一种新的端到端训练框架 ——KMCL（基于核的多标签对比学习），以解决模型和数据中心设计的缺点。KMCL 通过将嵌入特征转化为高斯 RKHS 中指数核的混合，然后进行目标损失编码，包括重构损失、非对称分类损失和对比损失来捕捉标签相关性。该框架同时考虑特征编码器的不确定性，并保持较低的计算量。通过对图像分类任务进行广泛实验，展示了 KMCL 相对于 SOTA 方法的一致改进。PyTorch 实现详见 https://github.com/mahdihosseini/KMCL。

    Jul, 2023