本技术报告介绍了开源多语言 E5 文本嵌入模型的训练方法和评估结果，该模型于 2023 年中期发布。提供了三种不同大小的嵌入模型（小 / 基础 / 大），在推理效率和嵌入质量之间取得平衡。训练过程遵循英文 E5 模型的方法，包括对 10 亿个多语言文本对进行对比预训练，然后在一系列标记数据集上进行微调。此外，我们引入了一种新的指令调整嵌入模型，其性能与类似规模的最先进英文模型相当。有关模型发布的信息可以在此 https 网址中找到。

Feb, 2024

本文研究了使用对比方式的自监督无监督训练大规模文本向量化，得到的向量在文本与代码搜索中表现优异，相较于之前使用监督学习方法的实验结果，相对提升了 4% 到 23.4% 不等。

Jan, 2022

我们提出了 GTE，一个用多阶段对比学习训练的通用文本嵌入模型，通过在多个数据源的各种混合数据集上进行对比学习，训练一个统一的文本嵌入模型。通过显著增加训练数据量，在无监督预训练和有监督微调阶段，取得了比现有嵌入模型更大的性能提升。此外，我们的模型在处理代码时无需额外细调每种编程语言，仅将代码视为文本就能超过类似大小的以前最佳代码检索器的性能。总之，我们的模型通过有效利用多阶段对比学习实现了令人印象深刻的结果，提供了一种强大而高效的文本嵌入模型，在各种 NLP 和代码相关任务中具有广泛的适用性。

Aug, 2023

通过使用合成数据和少于 1k 个训练步骤，我们引入了一种获取高质量文本嵌入的新颖简单方法。与现有方法不同，我们的方法不需要构建复杂的训练流程或依赖于常常受到任务多样性和语言覆盖性限制的人工收集的数据集。通过利用专有 LLMs 在近 100 种语言中生成大量多样化的合成数据，我们使用标准对比损失在合成数据上微调开源的只解码 LLMs。实验证明，我们的方法在高度竞争的文本嵌入基准上具有强大的性能，而不使用任何标记数据。此外，当用合成数据和标记数据的混合进行微调时，我们的模型在 BEIR 和 MTEB 基准上创造了最新的技术成果。

Dec, 2023

本文提出了一种名为预测性文本嵌入的半监督表示学习方法，它利用带标签和无标签数据来学习文本的嵌入，并将其表示为一种大规模异构文本网络，有效地降低了参数数量和效率。

Aug, 2015

我们提出了一个基于对比学习的单一模型，通过数据增强和对比学习，在没有使用多个模型集合的情况下，达到与多模型相当的性能表现。

Feb, 2024

本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外翻译”。

Oct, 2020

本研究利用文本到文本转换器（T5）提供了对句子嵌入的首次探索。通过 3 种提取 T5 句子嵌入的方法，本研究建立了一个新的句子表示转移基准 SentGLUE，并在语义文本相似性（STS）等方面超过了 Sentence-BERT 和 SimCSE 句子嵌入模型。

Aug, 2021

本文提出了一种方法，即将预训练模型的嵌入与目标数据的简单句子嵌入拼接起来，再对组合嵌入训练线性分类器。实验结果表明，与冻结嵌入模型权重的 fine-tuning 相比，采用该方法的分类性能更好。同时，理论分析和实验结果还表明，组合方法不如拼接方法有效。

Apr, 2020

本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

Jun, 2023