该论文介绍了一种新的基于 semantically structured sentence BERT embeddings（S^3BERT）的方法，通过近似可解释的 AMR 图表特征的方法将句子嵌入分解为语义特征，并通过 SBERT 教师模型的相似度打分来约束分解学习过程，从而保持神经嵌入的效力和效率。

Jun, 2022

探讨了使用 BERT 和 ALBERT 进行 Sentence Embedding 的方式，并通过实验发现，对于 STS 和 NLI 数据集的任务，ALBERT 表现明显优于 BERT。

Jan, 2021

研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

May, 2019

本文研究了语境化单词嵌入，并集中讨论了 BERT 这一深度神经网络，该网络产生了语境化的单词嵌入并在多个语义任务中创下了最好的记录，并研究了其嵌入空间的语义一致性。该文章表明，BERT 具有一定的语义一致性，但并未完全符合语义向量空间的自然期望，尤其是发现单词出现在的句子位置虽然不具含义，但在单词嵌入中留下了明显的痕迹，破坏了相似性关系。

Nov, 2019

提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。

Sep, 2019

该论文系统地研究了面向通用文本表示的分层 BERT 激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的 BERT 模型微调于自然语言推断数据上可以显著提高嵌入的质量。

Oct, 2019

本篇论文提出通过使 BERT 句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高 BERT 在各种语义文本相似度任务中的表现。实验证明，我们提出的 BERT-flow 方法在各种任务中显著优于现有状态下的句子嵌入方法。

Nov, 2020

该研究在文本专利相似性领域有两方面的贡献：首先，它比较了不同类型的专利特定预训练嵌入模型，包括静态词嵌入（如 word2vec 和 doc2vec 模型）和上下文词嵌入（如基于 transformers 的模型），在专利相似性计算任务上的性能；其次，它比较了 Sentence Transformers（SBERT）架构在专利相似性任务上不同训练阶段的性能。结果表明，该研究提出的专利 SBERT-adapt-ub，即预训练 Sentence Transformer 架构的领域自适应，优于当前专利相似性的最新技术水平。其次，研究结果显示，在某些情况下，大型静态模型在训练大量数据时仍可以与上下文模型相媲美；因此，我们认为上下文嵌入在性能上的优势可能与实际架构无关，而是与训练阶段的方式有关。

Mar, 2024

提出了一种改进的语言表示模型 Semantics-aware BERT，通过集成来自预训练语义角色标注的显式上下文语义，从而在十项阅读理解和语言推理任务中获得了新的最先进或实质性改进的结果，以促进自然语言理解。

Sep, 2019

我们提出了一种使用 Sentence-BERT（SBERT）和 RoBERTa 两种最先进的自然语言处理模型结合生成文档嵌入的新方法。通过将句子视为标记并为其生成嵌入，我们的方法可以捕捉文档内句子间和句子间的关系，从而生成更具语义丰富性和准确性的文档嵌入。通过对 Goodreads 数据集上的图书推荐任务进行实验，我们评估了我们的模型，并证明了其在生成嵌入方面的有效性。与仅使用 SBERT 生成的文档嵌入相比，我们使用 MULTI-BERT 模型生成的文档嵌入在嵌入质量方面始终表现更好，通过精确度作为评估指标，我们发现我们的模型能够捕捉到更细微的语义关系，从而实现更准确的推荐。总体而言，我们的结果证明了我们的方法的有效性，并表明这是一个改进推荐系统性能的有前途的方向。

Aug, 2023