使用原型进行简单采样和困难混合以重平衡对比学习用于文本分类

May, 2024

使用原型进行简单采样和困难混合以重平衡对比学习用于文本分类

Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification

Mengyu Li, Yonghao Liu, Fausto Giunchiglia, Xiaoyue Feng, Renchu Guan

TL;DR基于文本分类的超视域对比学习方法 SharpReCL，通过利用原型向量和样本集构建，克服了数据不平衡问题，实现了强大的特征学习和模型优化能力，在多个数据集上表现优于大型语言模型。

Abstract

text classification is a crucial and fundamental task in natural language processing. Compared with the previous learning paradigm of pre-training and fine-tuning by cross entropy loss, the recently proposed supervised contrastive learning approach has received tremendous attention due

text classification supervised contrastive learning data imbalance sharprecl large language models

发现论文，激发创造

基于对比学习的混合网络用于长尾图像分类

本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

Mar, 2021

对比学习在多标签文本分类中的应用研究

本文提出了五个用于多标签多分类任务的对比损失，探索了对比学习在不同策略下用于多标签多分类任务的有效性，并为对比学习技术在多标签分类任务上提供了一组基准方法。本文的实验结果表明，我们提出的对比损失可以为多标签多分类任务带来一定的提升。我们的研究揭示，在多标签多分类任务中，如何 “适当地” 改变对比学习的对比方式是提高其适应性的关键思想。

Dec, 2022

带有重新平衡的对比损失的长尾学习

通过将受监督的对比损失整合到基于交叉熵的通信中，解决了长尾学习问题。具体而言，使用 Rebalanced Contrastive Learning (RCL) 方法来提高长尾分类准确度，通过实现几个关键方面，即特征空间均衡、类内紧凑性和正则化。在 Balanced Contrastive Learning (BCL) Framework 中实施 RCL，实验结果表明 RCL 提供了对 BCL 框架的丰富嵌入以及更高的准确度。同时，RCL 作为一个独立的损失函数，也实现了与最先进方法相当的准确度水平。

Dec, 2023

利用摘要构建对比样本，用于有限标注的文本分类

本文研究了如何使用基于文本总结的数据扩增方法来构建语言任务的对比样本，从而通过有限的标注数据提高文本表示效果，并配合 Mixsum 正则化方法，实验结果显示所提出的对比学习框架在真实世界的文本分类数据集上表现出很好的效果。

Apr, 2021

基于贝叶斯学习的原型对比损失函数在类别增量学习中的应用

我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失（BLCL）的联合方法，该方法通过减小类内距离和增大类间距离，将新类别融入潜在表示中，动态调整交叉熵和对比损失函数之间的平衡，实证评估结果证明了我们方法的优越性。

May, 2024

双重对比学习：基于标签感知数据增强的文本分类

本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

Jan, 2022

长尾识别中的子类平衡对比学习

本文提出了一种新的 “子类平衡对比学习（SBCL）” 方法，通过在表示空间中对头类聚类，以捕捉头类和尾类之间的两层类层次结构，实现了实例和子类平衡，并通过在不同类之间的子类对比学习来学习原始类标签。

Jun, 2023

监督对比原型学习：无数据增强的强鲁棒神经网络

通过引入 supervised contrastive prototyping learning 框架，可以提高 DNN 模型的鲁棒性和学习 nuance 不变性表示，在样本高效、不需要 sample mining 的情况下可以替代 softmax 分类器头，实现更好的干扰和样本鲁棒性。

Nov, 2022

预训练语言模型微调的监督对比学习

通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

Nov, 2020

面向长尾视觉识别的平衡对比学习

本研究提出一种适用于长尾数据的平衡对比学习方法 (BCL)，通过均衡梯度贡献和多类别出现于每次 mini-batch 的方式，使分类器实现更好的优化，并在多个长尾数据集上超过了现有竞争对手 (ClFAR-10-LT,CIFAR-100-LT, ImageNet-LT, 以及 iNaturalist2018)

Jul, 2022