本文提出使用对比学习的方法，通过自我指导来改善 BERT 的句子表示质量，并将其应用于句子表示学习中。实验证明，与竞争对手的基线相比，我们的方法在广泛的句子相关任务上更加有效，并且在推理时效率高且鲁棒性强。

Jun, 2021

本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

Jun, 2021

本研究提出了一种基于对比自监督学习的证明性自我预训练编码器，称为 CERT，用于在句子级别上预训练语言表示模型，通过使用反向翻译创建原始句子的增强，并通过预测两个增强的句子是否来自同一句子来微调预训练语言编码器，评估表明 CERT 在自然语言理解任务的性能优于 BERT。

May, 2020

我们提出了一种自适应重建对比句子嵌入（SARCSE）框架，通过使用自动编码器对句子中的所有单词进行重建，帮助模型在聚合单词时保留更多细粒度的语义。实验结果表明，与强基准 SimCSE 相比，SARCSE 在 7 个 STS 任务中取得了显着改进。

Feb, 2024

本文研究了对比学习中存在的偏见问题，提出了一种名为 DebCSE 的新型对比框架，通过逆倾向加权抽样方法选择高质量的正负样本对，以消除各种偏见的影响，从而提高句子嵌入的质量。在语义文本相似性基准测试中，DebCSE 的平均 Spearman 相关系数为 80.33%，显著优于最新的最先进模型。

Sep, 2023

通过利用大型语言模型的生成和评估能力，我们提出了 SemCSR，一种语义感知的对比句子表示框架，可以自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明了我们提出的框架在使用大型语言模型学习更好的句子表示方面的有效性。

Oct, 2023

本文介绍 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations，是一种无监督的学习通用语句嵌入的方法，其优于仅仅使用大规模数据集。该方法扩展了基于 Transformer 的语言模型的预训练，可以在大量的未标注培训数据下达到可监管培训的质量水平，这个解决方案可以应用于没有标注数据的语言和领域。该研究的代码和预训练模型是公开的，可以轻松地适应新的领域或用于嵌入以前不见过的文本。

Jun, 2020

我们提出了一种称为自监督跨视图训练（SCT）的框架，以缩小大型和小型预训练语言模型（PLM）之间性能差距，并在 7 个语义文本相似性（STS）基准测试中通过与 5 个基准和最先进的竞争对手的比较，在参数数量从 4M 到 340M 范围内的 5 个 PLMs 上证明 STC 在 21 个案例中的 18 个中胜过竞争对手，对于参数少于 100M 的 PLMs 表现出色。

Nov, 2023

利用无监督的句子表示学习方法，通过对输入句子进行转换，得到富含复杂语义信息的定长向量表示，消除了对标注数据的依赖。本文提出了一种两阶段的方法，通过理解和总结对预训练模型（如 BERT）的潜在能力进行开发，并通过精细调整对比学习损失函数和模板去噪技术来进一步提高性能。实验证明，所提出的 CoT-BERT 方法在无需其他文本表示模型或外部数据库的情况下超越了一系列强大的基准模型。

Sep, 2023

本文提出了一种多模态多任务的 Transformer 模型，通过对句子和非语言数据对比学习的方式来提高句子编码器的性能，并在基准测试中获得了更高质量的语义文本相似性结果。

Sep, 2022