ACLApr, 2022

DiffCSE：基于差异的对比学习用于句向量

PDF
TL;DR本文介绍了 DiffCSE，一个无监督的对比学习框架，可以学习敏感于原始句子和编辑后句子之间差异的句子嵌入，通过朴素的掩码和掩码语言模型中的采样获得编辑后的句子，证明了 DiffSCE 是一种等变对比学习，并在语义文本相似性任务中取得了超越无监督 SimCSE 的最先进结果。
发现论文，激发创造
  • SimCSE: 简单的对比学习句子嵌入

    本文介绍了一种简单的对比学习框架 SimCSE，通过无监督和监督学习两种方法，显著提高了句子嵌入的性能，适用于语义文本相似性任务。

    Apr, 2021

  • D2CSE: 基于差异感知的深度连续提示对比句子嵌入

    本文提出了一种基于连续提示的差异感知深度对比句子嵌入方法（D2CSE），它可以区分相似句子的细微差异并在自我引导的情况下使用对比学习和条件替换令牌检测来执行多个任务，同时减少了训练参数数量，并且在语义文本相似度基准测试中达到了最新的表现水平。

    Apr, 2023

  • DebCSE：从去偏见的角度重新思考无监督对比句嵌入学习

    本文研究了对比学习中存在的偏见问题，提出了一种名为 DebCSE 的新型对比框架，通过逆倾向加权抽样方法选择高质量的正负样本对，以消除各种偏见的影响，从而提高句子嵌入的质量。在语义文本相似性基准测试中，DebCSE 的平均 Spearman 相关系数为 80.33%，显著优于最新的最先进模型。

    Sep, 2023

  • InfoCSE: 句子嵌入的信息聚合对比学习

    本文提出了一种信息聚合的对比学习框架 InfoCSE 用于学习无监督的句子嵌入，该框架引入了一个额外的掩蔽语言模型任务和一个经过精心设计的网络来强制 [CLS] 位置的表示聚合更密集的句子信息，并在语义文本相似性（STS）任务上取得了超越 SimCSE 的表现，平均 Spearman 相关性增加了 2.60％（BERT-base）和 1.77％（BERT-large），成为无监督句子表示学习方法中的最新成果。

    Oct, 2022

  • AugCSE：多样增强的对比句子嵌入

    本研究提出了 AugCSE 框架，采用广泛且多样化的数据增强技术构建更好、更通用的句子嵌入模型，最终用只有无监督数据的方法，在多项任务上实现了最新成果。

    Oct, 2022

  • 从零开始对句子嵌入进行对比学习

    本研究提出了 SynCSE，通过利用大型语言模型合成数据样本，训练具有良好性能的句子嵌入，对比试验结果显示 SynCSE 在无监督基准模型的基础上具有更好的性能。

    May, 2023

  • ESimCSE: 对无监督句子嵌入进行对比学习的增强样本构建方法

    提出了一种增强的无监督句子嵌入方法 (ESimCSE)，通过简单的文本操作和动量对比，来提高 SimCSE 在句子语义相似度任务方面的性能，与已有的无监督学习方法相比表现更好。

    Sep, 2021

  • 无监督句子嵌入的实例平滑对比学习

    本文提出了 IS-CSE 方法用于平滑特征空间中的嵌入，实现句子嵌入的无监督学习，进而在标准的语义文本相似度（STS）任务中取得更好的结果。

    May, 2023

  • ImSimCSE：从两个角度改进句子嵌入的对比学习

    本文从处理 dropout 噪声和解决特征损坏两个角度，提出了两种改进对比学习的方法，均能提高句子嵌入的性能，实验证明，将两种方法结合使用，相较于基于 BERT 基础的强基线模型 SimCSE，性能提升了 1.8 个点；同时，这些方法还能适用于 DiffCSE 等其他有着强鲁棒性的模型。

    May, 2023

  • DialogueCSE: 基于对话的对比学习句向量表示

    本文提出一种对话导向的对比学习方法，即 DialogueCSE，以解决利用对话学习句子嵌入时出现的评估训练差距。通过引入新的匹配引导嵌入机制，该方法生成了上下文感知嵌入，并通过对比损失来最小化每个上下文感知嵌入与其对应的上下文无关嵌入的差异。实验结果表明，在三个多回合对话数据集上，该方法在 MAP 和 Spearman 相关性指标方面优于基线表现，具有很高的效力。

    Sep, 2021