EMNLPMar, 2022

基于提示对比学习和能量函数学习的改进通用句子嵌入

PDF
TL;DR本文提出了一种新的基于提示的对比学习方法 (PromCSE)，用于有效提高预训练语言模型 (PLMs) 的普适句子嵌入表示，在七个标准语义文本相似性任务和一个域转移语义文本相似性任务上取得了优于当前最先进的句子嵌入模型的效果。
contrastive learningpre-trained language modelspromcsent-xent losssemantic textual similarity
发现论文，激发创造
  • 使用提示派生虚拟语义原型的对比学习，用于无监督语句嵌入

    本文提出了一种新的对比学习方法，使用提示词构建每个实例的虚拟语义原型，并通过负面提示形式派生负面原型，通过原型对比损失，将锚定的句子嵌入与其对应的语义原型相近，并与负面原型及其他句子的原型相距较远。实验结果表明，与强基线模型相比，我们提出的方法在语义文本相似性、转移和聚类任务上效果显著。

    Nov, 2022

  • 对比学习能够学习通用的跨语言句子嵌入

    本文提出了 mSimCSE，在英文数据上进行对比学习，不需要平行数据，可以学习高质量的通用跨语种句子嵌入。在无监督和弱监督设置中，mSimCSE 在跨语种检索和多语 STS 任务上显著改进了先前的句子嵌入方法。在检索低资源语言和多语 STS 任务上，无监督的 mSimCSE 表现与完全监督的方法相当。当跨语言 NLI 数据可用时，性能可以进一步提高。

    Nov, 2022

  • D2CSE: 基于差异感知的深度连续提示对比句子嵌入

    本文提出了一种基于连续提示的差异感知深度对比句子嵌入方法（D2CSE），它可以区分相似句子的细微差异并在自我引导的情况下使用对比学习和条件替换令牌检测来执行多个任务，同时减少了训练参数数量，并且在语义文本相似度基准测试中达到了最新的表现水平。

    Apr, 2023

  • 从零开始对句子嵌入进行对比学习

    本研究提出了 SynCSE，通过利用大型语言模型合成数据样本，训练具有良好性能的句子嵌入，对比试验结果显示 SynCSE 在无监督基准模型的基础上具有更好的性能。

    May, 2023

  • SimCSE: 简单的对比学习句子嵌入

    本文介绍了一种简单的对比学习框架 SimCSE，通过无监督和监督学习两种方法，显著提高了句子嵌入的性能，适用于语义文本相似性任务。

    Apr, 2021

  • PromptBERT: 利用提示提高 BERT 句子嵌入

    本文提出了一种新的对比学习方法 PromptBERT，用于改进句子表示的效果，在分析当前 BERT 句子嵌入的缺陷后，通过两种提示表示方法和三种提示搜索方法实现更好的句子嵌入，同时通过模板去噪技术，提出了一种新的无监督训练目标，大大缩短了有监督和无监督设置之间的性能差距，实验证明了方法的有效性。

    Jan, 2022

  • DebCSE：从去偏见的角度重新思考无监督对比句嵌入学习

    本文研究了对比学习中存在的偏见问题，提出了一种名为 DebCSE 的新型对比框架，通过逆倾向加权抽样方法选择高质量的正负样本对，以消除各种偏见的影响，从而提高句子嵌入的质量。在语义文本相似性基准测试中，DebCSE 的平均 Spearman 相关系数为 80.33%，显著优于最新的最先进模型。

    Sep, 2023

  • 使用监督对比学习的句子嵌入

    本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

    Jun, 2021

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • SentiCSE：一种基于情感的对比句嵌入框架，配备情感引导的文本相似度

    该研究提出了 Sentiment-guided Textual Similarity (SgTS) 方法来评估情感表示的质量，然后通过结合词级和句级目标的 Sentiment-aware Contrastive Sentence Embedding (SentiCSE) 框架构建情感表示，并展示了其在情感分析任务中的优越性能。

    Apr, 2024