通过利用大型语言模型的生成和评估能力，我们提出了 SemCSR，一种语义感知的对比句子表示框架，可以自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明了我们提出的框架在使用大型语言模型学习更好的句子表示方面的有效性。

Oct, 2023

本文提出了一种新方法 RankCSE，将排名一致性和排名蒸馏与对比学习相结合，用于无监督学习句子表示，实现了语义区分的句子表示，该方法在语义文本相似性任务和转移任务中表现出优异的性能。

May, 2023

自监督学习在自然语言处理中的关键任务是句子表示学习，其中对比自监督学习是目前的主流方法。然而，其显著有效性背后的原因仍不清楚。本研究从梯度的角度出发，发现四种有效的对比损失可以集成到一个统一的范式中，这依赖于梯度消散、权重和比率这三个组成部分，并通过深入分析这些组件在优化中的作用，实验证明它们对模型性能的重要性，并通过调整这些组件使得非对比自监督学习在句子表示学习中取得出色的性能。

Feb, 2024

提出了一种新的无监督句子表示学习（USRL）框架，称为带有频率诱导的对抗微调和不完整句子过滤器的句子表示学习（SLT-FAI），通过利用单词频率信息来解决预先训练语言模型（PLM）中单词频率信息敏感性带来的相似偏差和信息偏差问题，此框架灵活易用并能优于现有的 USRL 基线。

May, 2023

本文提出一种基于对偶句子级别的监督对比学习（PairSCL）方法，采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标来区分不同类别的句子对，在两个公共 NLI 数据集上，PairSCL 的准确性平均优于其他方法 2.1％，并在文本分类的七个转移任务上超过了先前的最新方法。

Jan, 2022

本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

Feb, 2022

本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

Jun, 2021

提出了一种基于条件 MLM 的无监督对比学习框架 CMLM-CSE，通过增加辅助网络来集成句子嵌入执行 MLM 任务，使句子嵌入学习更多的屏蔽词信息，使用 Bertbase 和 Robertabase 作为预训练语言模型进行预训练，在文本相似性任务中分别超过了 SimCSE 0.55 和 0.3 个百分点。

Jun, 2023

本研究探讨了利用 Stanford 自然语言推断数据集的监督学习训练通用句子向量表示，相比于 SkipThought 等无监督方法，该方式在多种迁移学习任务中表现更优，因此表明自然语言推断适用于迁移学习。

May, 2017

本文提出了一种信息聚合的对比学习框架 InfoCSE 用于学习无监督的句子嵌入，该框架引入了一个额外的掩蔽语言模型任务和一个经过精心设计的网络来强制 [CLS] 位置的表示聚合更密集的句子信息，并在语义文本相似性（STS）任务上取得了超越 SimCSE 的表现，平均 Spearman 相关性增加了 2.60％（BERT-base）和 1.77％（BERT-large），成为无监督句子表示学习方法中的最新成果。

Oct, 2022