本文介绍了Sentence-BERT (SBERT)，它是预训练BERT网络的修改版，利用孪生和三元组网络结构来推导语义上有意义的句子嵌入，可以使用余弦相似性进行比较，将BERT / RoBERTa的寻找最相似组合的时间从65小时降至大约5秒钟，并保持来自BERT的精度。在共同的STS任务和转移学习任务中，我们评价SBERT和SRoBERTa，该方法优于其他最先进的句子嵌入方法。

Aug, 2019

本文介绍了一种基于BERT的词模型的高质量句子嵌入方法——SBERT-WK，它通过对词表示所张成空间的几何分析，研究了深度上下文模型词表示的分层模式，并在语义文本相似度和下游监督任务中评估了其性能，实验结果表明SBERT-WK取得了最先进的性能。

Feb, 2020

本研究提出了一种在BERT基础上的轻量级扩展和基于互信息最大化策略的自监督学习目标，以无监督的方式生成有意义的句子嵌入。实验结果表明，该方法在常见的STS任务和下游监督任务中显著优于其他无监督句子嵌入基线，并在没有领域内标注数据的情况下超过了SBERT。

Sep, 2020

探讨了使用BERT和ALBERT进行Sentence Embedding的方式，并通过实验发现，对于STS和NLI数据集的任务，ALBERT表现明显优于BERT。

Jan, 2021

本文发现传统机器学习中的白化操作同样可以增强句子表示的等向性并取得较为显著的性能提升，同时可以减少句子表示的存储成本和加速模型检索速度。

Mar, 2021

研究表明预训练语言模型，如BERT，在自然语言处理方面具有更广泛的应用价值。本文探究和分析预训练BERT嵌入的几何特征，提出一种基于可学习权重的简单而有效的方法，可以更好地处理向量的同一性问题，并在三项标准任务中获得较好的性能表现。

Apr, 2021

本文提出了一种新的对比学习方法PromptBERT，用于改进句子表示的效果，在分析当前BERT句子嵌入的缺陷后，通过两种提示表示方法和三种提示搜索方法实现更好的句子嵌入，同时通过模板去噪技术，提出了一种新的无监督训练目标，大大缩短了有监督和无监督设置之间的性能差距，实验证明了方法的有效性。

Jan, 2022

本文提出一种基于伪符号Bert（PT-Bert）的语义感知对比学习框架，可以有效地利用句子的伪符号空间表示，消除了句子长度和语法等表征对模型的影响，实现了对未标注文本的编码。通过构建同长度的正负样本对进行对比学习，我们的模型在六个标准语义文本相似性（STS）任务中优于现有的基准模型。

Mar, 2022

本研究解决了当前句子嵌入提取方法的不充分性，提出了多种改进的表示提取技术，尝试优化BERT的句子表示。研究显示，通过简单的基线方法及其表示塑造技术，能够在语义文本相似性和短文本聚类任务中显著提升性能，甚至超过复杂的BERT模型。

Aug, 2024

本研究解决了在创建高效句子BERT（SBERT）模型时的复杂性问题。通过层修剪的创新方法，研究表明经过修剪的模型在保持高质量嵌入相似性的同时，能够与完整层次的版本竞争，并且优于同类小型训练模型。这一发现为有限技术资源语言的SBERT模型提供了更为实用的解决方案。

Sep, 2024