本文提出了一种基于相邻句子的无监督句子编码器 RankEncoder，利用相邻句子约束进行训练，在语义文本相似度性能、相似句子对的有效性和普适性等方面都较好地表现，达到了 80.07% 的斯皮尔曼等级相关性，相较于最先进技术性能有 1.1% 的绝对提升，并且在相似句子对方面提升更为显着，为 1.73%，同时证明了 RankEncoder 可以普遍适用于现有的无监督句子编码器。

Sep, 2022

本文介绍了一种简单的对比学习框架 SimCSE，通过无监督和监督学习两种方法，显著提高了句子嵌入的性能，适用于语义文本相似性任务。

Apr, 2021

通过利用大型语言模型的生成和评估能力，我们提出了 SemCSR，一种语义感知的对比句子表示框架，可以自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明了我们提出的框架在使用大型语言模型学习更好的句子表示方面的有效性。

Oct, 2023

本文提出了一种信息聚合的对比学习框架 InfoCSE 用于学习无监督的句子嵌入，该框架引入了一个额外的掩蔽语言模型任务和一个经过精心设计的网络来强制 [CLS] 位置的表示聚合更密集的句子信息，并在语义文本相似性（STS）任务上取得了超越 SimCSE 的表现，平均 Spearman 相关性增加了 2.60％（BERT-base）和 1.77％（BERT-large），成为无监督句子表示学习方法中的最新成果。

Oct, 2022

本文提出了一种基于高斯分布的对比学习框架 GaussCSE 用于句子嵌入，它可以处理句子间不对称的关系，同时还有一种相似度度量可以识别包含关系。实验证明 GaussCSE 在自然语言推断任务中与之前的方法一样表现出色，并能够估算蕴含关系的方向。

May, 2023

本文研究了对比学习中存在的偏见问题，提出了一种名为 DebCSE 的新型对比框架，通过逆倾向加权抽样方法选择高质量的正负样本对，以消除各种偏见的影响，从而提高句子嵌入的质量。在语义文本相似性基准测试中，DebCSE 的平均 Spearman 相关系数为 80.33%，显著优于最新的最先进模型。

Sep, 2023

本文提出了一种半监督句子嵌入框架 GenSE，通过使用大规模无标注数据，利用生成器 / 鉴别器模型进行句子对的合成和对比学习，实现对带标签和合成数据的句子表示学习，相对于目前最先进的方法，在四项领域适应任务上具有显着的性能提升，平均相关性得分为 85.19，证明了其高效性和一般化能力。

Oct, 2022

句子表示学习是自然语言处理中的一个基本任务，对比学习句子嵌入是主流技术，然而监督学习和无监督学习方法在性能上存在显著差异。本文通过实证实验回答了训练过程中导致性能差异的问题，同时通过利用大型语言模型的上下文学习能力来生成复杂模式的数据，有效地缩小了监督学习和无监督学习方法之间的差距。

Sep, 2023

提出了一种名为 Rank Supervised Contrastive Learning (RankSCL) 的对比学习框架，通过使用特定过滤规则选择更具信息量的正负样本对，利用排名信息为不同级别的正样本分配不同权重，能够在有限标签样本情况下提取细粒度信息并在不同类别之间产生明确的边界，表现出先进的分类性能。

Jan, 2024

本文介绍了 DiffCSE，一个无监督的对比学习框架，可以学习敏感于原始句子和编辑后句子之间差异的句子嵌入，通过朴素的掩码和掩码语言模型中的采样获得编辑后的句子，证明了 DiffSCE 是一种等变对比学习，并在语义文本相似性任务中取得了超越无监督 SimCSE 的最先进结果。

Apr, 2022