本文介绍了 Sentence-BERT (SBERT)，它是预训练 BERT 网络的修改版，利用孪生和三元组网络结构来推导语义上有意义的句子嵌入，可以使用余弦相似性进行比较，将 BERT / RoBERTa 的寻找最相似组合的时间从 65 小时降至大约 5 秒钟，并保持来自 BERT 的精度。在共同的 STS 任务和转移学习任务中，我们评价 SBERT 和 SRoBERTa，该方法优于其他最先进的句子嵌入方法。

Aug, 2019

本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

Jun, 2021

本文介绍了一种基于 BERT 的词模型的高质量句子嵌入方法 ——SBERT-WK，它通过对词表示所张成空间的几何分析，研究了深度上下文模型词表示的分层模式，并在语义文本相似度和下游监督任务中评估了其性能，实验结果表明 SBERT-WK 取得了最先进的性能。

Feb, 2020

通过适应生物医学领域 (PubMed、PubMed Central 和 MIMIC-III 数据集) 并微调了 20 个基准数据集上的 6 个任务，我们提出了 BioALBERT，并展示了它在大部分任务中优于现有技术。

Jul, 2021

我们提出了一种使用 Sentence-BERT（SBERT）和 RoBERTa 两种最先进的自然语言处理模型结合生成文档嵌入的新方法。通过将句子视为标记并为其生成嵌入，我们的方法可以捕捉文档内句子间和句子间的关系，从而生成更具语义丰富性和准确性的文档嵌入。通过对 Goodreads 数据集上的图书推荐任务进行实验，我们评估了我们的模型，并证明了其在生成嵌入方面的有效性。与仅使用 SBERT 生成的文档嵌入相比，我们使用 MULTI-BERT 模型生成的文档嵌入在嵌入质量方面始终表现更好，通过精确度作为评估指标，我们发现我们的模型能够捕捉到更细微的语义关系，从而实现更准确的推荐。总体而言，我们的结果证明了我们的方法的有效性，并表明这是一个改进推荐系统性能的有前途的方向。

Aug, 2023

本文探讨了预训练语言模型中上下文化嵌入的建模能力，并使用简单明了的神经基线处理端到端方面的情感分析任务。实验结果表明，即使使用简单的线性分类层，我们基于 BERT 的架构的性能也能超过最新的方法。此外，我们还使用保留验证数据集来标准化比较研究，这是之前的工作往往忽略的，因此，我们的工作可以作为 E2E-ABSA 的 BERT 基准。

Oct, 2019

本文提出了一个名为 BERT-fused 的算法，通过在 NMT 模型的编码器和解码器的每个层中使用 BERT 提取表示并通过注意机制融合，实现了在监督、半监督和无监督机器翻译上取得了最先进的结果。

Feb, 2020

该论文系统地研究了面向通用文本表示的分层 BERT 激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的 BERT 模型微调于自然语言推断数据上可以显著提高嵌入的质量。

Oct, 2019

提出一种在大规模生物医学语料库上训练的具有生物医学上下文依赖命名实体识别能力的领域特定语言模型 —— 生物医学 ALBERT，并在 8 个不同的医学 NER 基准数据集上展现出极高的性能表现，该模型可供未来研究使用。

Sep, 2020

本文对最新的句子嵌入方法进行了全面评估，通过使用多样的下游和语言特征探测任务，表明与在蕴涵数据集上训练的句子编码器相比，使用具有深度上下文相关性单词嵌入的词袋模型可以在许多任务中产生更好的结果，但我们远未达成一个可以在多个下游任务中持续表现的通用编码器。

Jun, 2018