本文介绍了如何通过将不同的预训练句子编码器组合成句子元嵌入来解决无监督的语义文本相似性（STS）任务，我们在句子级别应用、扩展和评估了来自单词嵌入文献的不同元嵌入方法，并在 STS 基准测试和 STS12-STS16 数据集上设置了新的无监督状态，平均提高了3.7%至6.4% Pearson的r值。

Nov, 2019

提出一种基于双语CBOW方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零-shot跨语言文档分类任务方面达到深度RNN方法的水平，对单语词向量的提高优势明显。

Dec, 2019

本文探讨了两种类型的句子嵌入方法对于语义文本相似度任务性能的影响，发现fine-tunes预训练语言模型在自然语言推断和单词预测任务中使用能够提高性能，而且将两种方法相结合能够比单个方法取得更好的效果。

Feb, 2022

本文提出了EvalRank作为一种新的内部评估方法，它在60多个模型和流行数据集上进行了深入的实验，并释放了实用的评估工具包用于未来的基准测试。

Mar, 2022

本文提出了一种称为W2VPred的方法，可以同时提供语料库的通用单词表示、每个子语料库的特定表示、子语料库结构和嵌入对齐，并在New York Times文章和两个英文维基百科数据集上进行了实证评估。该方法在一般类比测试、特定于领域的类比测试、多个特定单词嵌入评估方面提供比基线更好的性能，同时在没有预先给出结构的情况下提供结构预测性能。通过在德国文本档案中提出新的研究问题，展示了数字人文领域的应用案例。

Oct, 2022

使用适配器实现参数高效的领域适应方法，通过仅训练少量额外参数而不更新整个句子嵌入模型的权重，以实现句子嵌入在特定领域的适应。结果表明，在仅训练约3.6%的参数的情况下，使用适配器进行句子嵌入的领域适应可以获得与完全调整的模型性能相似的结果。

Jul, 2023

通过上下文学习，我们提出了一种基于上下文学习的方法，旨在提高句子嵌入的性能。我们的方法能够使大型语言模型生成高质量的句子嵌入，并且在语义文本相似度任务上表现与当前对比学习方法相当。通过调整模型大小，我们发现超过几十亿参数的模型会对语义文本相似度任务的性能造成损害，但最大的模型超过了其他模型，并在迁移任务上取得了新的最先进结果。我们还使用当前的对比学习方法对大型语言模型进行了微调，将包含我们基于提示的方法的2.7B OPT模型的性能超过了4.8B ST5的性能，在语义文本相似度任务上实现了新的最先进结果。

Jul, 2023

本文提出了一种用于强化文本检索的逐步学习嵌入模型 (PEG)，通过增加负样本数量、提取难例负样本以及引入逐步学习机制，PEG 在检索真正的正例方面超过了现有的嵌入模型，在大语言模型的应用中具有重要潜力。

Nov, 2023

本研究通过使用对比学习的fine-tuning方法并以表示排名作为主要分析工具，分析了最新的句子嵌入方法。通过定义fine-tuning的两个阶段，并利用这些阶段进行全面分析，我们得出了关于对齐和一致性、语言能力以及性能和排名之间相关性的重要发现。基于这些发现，我们提出了一种排名降低（RR）策略，以促进最新的对比学习方法的快速和稳定的fine-tuning，并通过实证研究展示了RR在提高五种最先进句子嵌入方法的性能和稳定性方面的有效性。

May, 2024

我们扩展了大规模文本嵌入基准（MTEB）以针对法语提出首个句子嵌入大规模基准，通过与46个嵌入模型的大规模比较和全面的统计测试，我们发现大型多语言模型在句子相似度上进行预训练的效果尤为出色。

May, 2024