Sentence-BERT：使用孪生BERT网络生成句子嵌入

Aug, 2019

Sentence-BERT：使用孪生BERT网络生成句子嵌入

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Nils Reimers, Iryna Gurevych

TL;DR本文介绍了Sentence-BERT (SBERT)，它是预训练BERT网络的修改版，利用孪生和三元组网络结构来推导语义上有意义的句子嵌入，可以使用余弦相似性进行比较，将BERT / RoBERTa的寻找最相似组合的时间从65小时降至大约5秒钟，并保持来自BERT的精度。在共同的STS任务和转移学习任务中，我们评价SBERT和SRoBERTa，该方法优于其他最先进的句子嵌入方法。

Abstract

BERT (Devlin et al., 2018) and RoBERTa (Liu et al., 2019) has set a new state-of-the-art performance on sentence-pair regression tasks like semantic textual similarity (STS). However, it requires that both sentences are fed into the network, which causes a massive computational overhead: Finding the most similar pair in a collection of 10,000 sentences requi

发现论文，激发创造

通过精简句子嵌入，可扩展的注意力句对建模

该研究介绍一种基于知识蒸馏的Distilled Sentence Embedding(DSE)模型，旨在通过构建一个用于重构跨注意力模型得分的基于句子嵌入的学生模型，加速计算查询-候选句子对的相似度并在句子表示基准测试中达到最先进的性能。

Aug, 2019

SBERT-WK：通过解剖基于BERT的词模型的句子嵌入方法

本文介绍了一种基于BERT的词模型的高质量句子嵌入方法——SBERT-WK，它通过对词表示所张成空间的几何分析，研究了深度上下文模型词表示的分层模式，并在语义文本相似度和下游监督任务中评估了其性能，实验结果表明SBERT-WK取得了最先进的性能。

Feb, 2020

无监督句子嵌入方法：通过最大化互信息实现

本研究提出了一种在BERT基础上的轻量级扩展和基于互信息最大化策略的自监督学习目标，以无监督的方式生成有意义的句子嵌入。实验结果表明，该方法在常见的STS任务和下游监督任务中显著优于其他无监督句子嵌入基线，并在没有领域内标注数据的情况下超过了SBERT。

Sep, 2020

关于预训练语言模型中句子嵌入的研究

本篇论文提出通过使BERT句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高BERT在各种语义文本相似度任务中的表现。实验证明，我们提出的BERT-flow方法在各种任务中显著优于现有状态下的句子嵌入方法。

Nov, 2020

BERT和ALBERT句子嵌入在下游NLP任务中的表现评估

探讨了使用BERT和ALBERT进行Sentence Embedding的方式，并通过实验发现，对于STS和NLI数据集的任务，ALBERT表现明显优于BERT。

Jan, 2021

双视角蒸馏BERT用于句子嵌入

本文提出了一种基于Dual-view distilled BERT~(DvBERT)的句子匹配方法，该方法能够捕捉多个角度的句子信息，进而提升表征能力，相较于state-of-the-art方法，在六个STS任务上达到了更好的效果。

Apr, 2021

PromptBERT: 利用提示提高BERT句子嵌入

本文提出了一种新的对比学习方法PromptBERT，用于改进句子表示的效果，在分析当前BERT句子嵌入的缺陷后，通过两种提示表示方法和三种提示搜索方法实现更好的句子嵌入，同时通过模板去噪技术，提出了一种新的无监督训练目标，大大缩短了有监督和无监督设置之间的性能差距，实验证明了方法的有效性。

Jan, 2022

一句话价值128伪标记：一个针对句子嵌入的语义感知对比学习框架

本文提出一种基于伪符号Bert（PT-Bert）的语义感知对比学习框架，可以有效地利用句子的伪符号空间表示，消除了句子长度和语法等表征对模型的影响，实现了对未标注文本的编码。通过构建同长度的正负样本对进行对比学习，我们的模型在六个标准语义文本相似性（STS）任务中优于现有的基准模型。

Mar, 2022

关系句子嵌入用于灵活语义匹配

研究了建立新的Relational Sentence Embedding（RSE）范式以更好地发现句子嵌入潜力，提出了一种关联嵌入学习方法，作用在源句子上，推断出使用现有的Siamese-based encoder的对应目标句子，从学习的嵌入中可以计算出细粒度的关系相似度得分。该方法在19个任务中进行了基准测试，取得了良好的效果。

Dec, 2022

通过层修剪构建高效句子BERT模型

本研究解决了在创建高效句子BERT（SBERT）模型时的复杂性问题。通过层修剪的创新方法，研究表明经过修剪的模型在保持高质量嵌入相似性的同时，能够与完整层次的版本竞争，并且优于同类小型训练模型。这一发现为有限技术资源语言的SBERT模型提供了更为实用的解决方案。

Sep, 2024