Dec, 2022

对比学习在多标签文本分类中的应用研究

PDF
TL;DR本文提出了五个用于多标签多分类任务的对比损失，探索了对比学习在不同策略下用于多标签多分类任务的有效性，并为对比学习技术在多标签分类任务上提供了一组基准方法。本文的实验结果表明，我们提出的对比损失可以为多标签多分类任务带来一定的提升。我们的研究揭示，在多标签多分类任务中，如何 “适当地” 改变对比学习的对比方式是提高其适应性的关键思想。
发现论文，激发创造
  • 探索对比学习用于长尾多标签文本分类

    我们进行了关于有监督对比学习在多标签文本分类中的影响以及如何构建稳健的表示空间的研究，提出了一种新的对比损失函数，并在三个多标签数据集上实现了显著的宏 F1 分数改进。

    Apr, 2024

  • 具有无限可能性的联合对比学习

    本文探讨在对比学习中通过新的概率模型进行的有效修改。通过推导一个特殊形式的对比损失函数，即联合对比学习（JCL），JCL 在搜索不变特征时具有更紧的约束条件。我们提出了对这种形式的上界的研究，这种上界允许端到端的训练方式中的解析性解决方案。尽管 JCL 在多个计算机视觉应用中实用，但我们也从理论上揭示了支配 JCL 行为的某些机制。我们证明了所提议的公式具有固有的机制，强烈倾向于在每个实例特定的类别内保持相似性，因此在搜索不同实例之间的辨别特征时仍具有优势。我们在多个基准上评估了这些提议，展示了对现有算法的显著改进。

    Sep, 2020

  • 双重对比学习：基于标签感知数据增强的文本分类

    本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

    Jan, 2022

  • 使用原型进行简单采样和困难混合以重平衡对比学习用于文本分类

    基于文本分类的超视域对比学习方法 SharpReCL，通过利用原型向量和样本集构建，克服了数据不平衡问题，实现了强大的特征学习和模型优化能力，在多个数据集上表现优于大型语言模型。

    May, 2024

  • 不是所有的负样本都相等：针对细粒度文本分类的标签感知对比损失

    本文分析了在细粒度文本分类任务情感分类和情感分析中预训练语言模型的对比微调。适应性嵌入类关系的对比目标函数可以有助于不同地权衡正面和负面情感，使得 Label-aware Contrastive Loss 在更多混淆类别的情况下表现更好。

    Sep, 2021

  • 多模态学习中对比损失的重要性

    通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

    Apr, 2023

  • 基于对比学习的混合网络用于长尾图像分类

    本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

    Mar, 2021

  • 异构对比学习

    本论文提出了一个统一的异构学习框架，通过结合加权无监督对比损失和加权有监督对比损失来解决对比学习中的假阴性对问题，从而模拟多种异构性的数据。实验结果表明，该方法在模拟复杂数据时具有较好的效果和高效性。

    May, 2021

  • 揭示和克服监督对比学习中的标签噪音挑战

    我们提出了 D-SCL，这是一种新颖的去偏差的监督对比学习目标，旨在减少标记错误引入的偏差，并证明了 D-SCL 在各种视觉基准上稳定优于最先进的表示学习技术，提供了对标签错误的改进的鲁棒性。

    Nov, 2023

  • 视觉语言预训练的改进基线

    本文中，我们提出了一些基线模型，将对比学习与最近的自监督学习进展相结合，用于生成多模态表示。除了使用对比性损失，我们还使用了已被证明对视觉自监督学习成功的损失函数来对齐图像和文本模态。而使用更有效的数据增广技术可以提高模型性能，使我们在四个标准数据集上获得了最先进的性能。

    May, 2023