Apr, 2024

探索对比学习用于长尾多标签文本分类

PDF
TL;DR我们进行了关于有监督对比学习在多标签文本分类中的影响以及如何构建稳健的表示空间的研究，提出了一种新的对比损失函数，并在三个多标签数据集上实现了显著的宏 F1 分数改进。
multi-label text classificationsupervised contrastive learninglong-tailed data distributionscontrastive loss functionmltc representation
发现论文，激发创造
  • 基于对比学习的混合网络用于长尾图像分类

    本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

    Mar, 2021

  • 针对长尾识别的有监督对比学习

    该论文研究了如何通过有针对性的监督对比学习，提高长尾识别中少数类的识别准确率，提出了针对性的监督对比学习方法 (TSC)，通过让不同类别的特征向量在训练过程中收敛至不同且均匀分布的目标点，从而提高了特征空间的均匀性，改善类别边界，提高了模型的泛化能力，实验结果验证了 TSC 方法在多个数据集上均取得了当下最先进的表现。

    Nov, 2021

  • 面向长尾视觉识别的平衡对比学习

    本研究提出一种适用于长尾数据的平衡对比学习方法 (BCL)，通过均衡梯度贡献和多类别出现于每次 mini-batch 的方式，使分类器实现更好的优化，并在多个长尾数据集上超过了现有竞争对手 (ClFAR-10-LT,CIFAR-100-LT, ImageNet-LT, 以及 iNaturalist2018)

    Jul, 2022

  • 不完美环境下的学习：长尾分布和部分标签的多标签分类

    本文介绍了一种新颖的任务，即 Partial labeling and Long-Tailed Multi-Label Classification（PLT-MLC），并提出了一种端到端的学习框架 CO-MIC-Balance（Correction，Modification，Balance），用于同时解决长尾分布和部分标签的多标签分类问题，该框架通过比较预测置信度和类特定阈值来修正丢失的标签，使用多聚焦的修饰符损失来同时解决头部尾部不平衡和正负不平衡，并使用平衡分类器来保持所有样本的稳定性。实验结果表明，该方法在新创建的 PLT-MLC 数据集上具有更高的有效性和鲁棒性。

    Apr, 2023

  • 通过最大化潜在特征与真实标签之间的互信息进行长尾识别

    本文提出了一种集成对比学习和分类器调整技巧的方法，旨在优化长尾数据集下的表征学习。通过最大化隐变量和真实标签之间的互信息，该方法在长尾识别任务和图像分割任务中展现了领先水平。

    May, 2023

  • 对比学习在多标签文本分类中的应用研究

    本文提出了五个用于多标签多分类任务的对比损失，探索了对比学习在不同策略下用于多标签多分类任务的有效性，并为对比学习技术在多标签分类任务上提供了一组基准方法。本文的实验结果表明，我们提出的对比损失可以为多标签多分类任务带来一定的提升。我们的研究揭示，在多标签多分类任务中，如何 “适当地” 改变对比学习的对比方式是提高其适应性的关键思想。

    Dec, 2022

  • 带有重新平衡的对比损失的长尾学习

    通过将受监督的对比损失整合到基于交叉熵的通信中，解决了长尾学习问题。具体而言，使用 Rebalanced Contrastive Learning (RCL) 方法来提高长尾分类准确度，通过实现几个关键方面，即特征空间均衡、类内紧凑性和正则化。在 Balanced Contrastive Learning (BCL) Framework 中实施 RCL，实验结果表明 RCL 提供了对 BCL 框架的丰富嵌入以及更高的准确度。同时，RCL 作为一个独立的损失函数，也实现了与最先进方法相当的准确度水平。

    Dec, 2023

  • 多标签文本分类中用平衡更新和集体损失替代数据注释

    通过使用预训练语言模型，在低监督情况下有效提高多标签文本分类性能的方法。

    Sep, 2023

  • 带有增强记忆的对比学习

    本研究提供一种从数据角度出发的 Boosted Contrastive Learning (BCL) 方法用于自监督长尾学习，以识别长尾分布的尾部数据，通过深度神经网络来自动驱动样本视图的信息差异，从而增强了标签无关情境下的长尾学习效率，并在广泛的基准数据集上展示了超过几种最先进方法的有效性。

    May, 2022

  • 一种用于长尾识别的具有互分支和内分支对比损失的双分支模型

    本文介绍了一种名为双分支长尾识别（DB-LTR）的简单而有效的模型，它包括一个不平衡学习分支和一个对比学习分支（CoLB），通过利用常见的不平衡学习方法来解决数据不平衡问题，并通过对比学习分支来改善模型对尾部类别的适应能力，并学习出一个具有很好表现特征空间和有区分度的决策边界。在 CIFAR100-LT、ImageNet-LT 和 Places-LT 三个长尾基准数据集上的大量实验证明，DB-LTR 相比比较方法具有竞争力且卓越。

    Sep, 2023