不是所有的负样本都相等：针对细粒度文本分类的标签感知对比损失

EMNLPSep, 2021

不是所有的负样本都相等：针对细粒度文本分类的标签感知对比损失

Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification

Varsha Suresh, Desmond C. Ong

TL;DR本文分析了在细粒度文本分类任务情感分类和情感分析中预训练语言模型的对比微调。适应性嵌入类关系的对比目标函数可以有助于不同地权衡正面和负面情感，使得 Label-aware Contrastive Loss 在更多混淆类别的情况下表现更好。

Abstract

fine-grained classification involves dealing with datasets with larger number of classes with subtle differences between them. Guiding the model to focus on differentiating dimensions between these commonly confusable classes is key to improving performance on fine-grained tasks. In th

fine-grained classification pre-trained language models contrastive fine-tuning emotion classification sentiment analysis

发现论文，激发创造

预训练语言模型微调的监督对比学习

通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

Nov, 2020

对比学习在多标签文本分类中的应用研究

本文提出了五个用于多标签多分类任务的对比损失，探索了对比学习在不同策略下用于多标签多分类任务的有效性，并为对比学习技术在多标签分类任务上提供了一组基准方法。本文的实验结果表明，我们提出的对比损失可以为多标签多分类任务带来一定的提升。我们的研究揭示，在多标签多分类任务中，如何 “适当地” 改变对比学习的对比方式是提高其适应性的关键思想。

Dec, 2022

双重对比一致性的小样本文本分类

本文研究了如何使用预训练的语言模型进行少样本文本分类，提出了一种基于有限标注数据的监督对比学习和大量无标注数据的一致性约束方法，并且提出一种新的对比一致性来改善模型性能。在四个数据集上的实验证明，我们的模型 (FTCC) 可以胜过现有的最佳方法并且具有更好的鲁棒性。

Sep, 2022

对比是你所需要的一切

我们分析了数据稀缺的分类场景，并比较了 SetFit（句子转换微调）和基于法规分类任务的基础微调设置。结果表明，使用 SetFit 的对比设置比基础微调表现更好，同时只需使用一小部分训练样本。LIME 结果显示，对比学习方法有助于提升在法律上具有信息量且对分类结果有贡献的正面和负面特征。因此，使用对比目标微调的模型在法律信息上更有信心地进行决策。

Jul, 2023

细粒度识别：考虑相似类之间的细微差异

该论文提出了引入多样性块和梯度提升损失函数两个关键创新点的细粒度识别方法，来解决先前方法在查找亚类别差异性和识别混淆类别上的局限性。在五个挑战性数据集上的全面实验表明，该方法在所有五个数据集上都比使用类似实验方案的现有方法表现更优。

Dec, 2019

探索对比学习用于长尾多标签文本分类

我们进行了关于有监督对比学习在多标签文本分类中的影响以及如何构建稳健的表示空间的研究，提出了一种新的对比损失函数，并在三个多标签数据集上实现了显著的宏 F1 分数改进。

Apr, 2024

ContrastNet：用于小样本文本分类的对比学习框架

提出了一个名为 ContrastNet 的对比学习框架，来解决少样本文本分类问题中类间相似性引起的混淆和过拟合的问题。经实验证明该方法在 8 个少样本文本分类数据集上优于当前技术水平。

May, 2023

对比视觉语言细粒度理解中的同模态句式和排名跨模态硬负例

为了解决 Vision and Language Models 对于细致的理解和 fine-grained 任务的挑战，本研究提出一种基于 intra-modal 和 cross-modal rank loss 的策略，该策略不需要额外的注释或参数，可应用于任何使用图像 - 文本对比损失训练的 VLMs。在应用于 CLIP 上时，该方法在三个细粒度基准测试上显著提高了性能，并增强了 X-VLM 在细粒度推理上的表现。

Jun, 2023

将对比损失和非对比损失相结合，以微调预训练的语音分析模型

本研究提出了一种改进内部嵌入空间和使用对比和非对比损失的适配器来处理类内差异的方法，并将其应用于情感分类问题，发现本方法在多个任务上均优于端到端微调基线，并超过最先进的情感分类基准。

Oct, 2022

通过困难负样本增强多模态对比学习中的概念理解

通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。

Mar, 2024