将语言模型改造为嵌入模型：找寻计算最优配方

Jun, 2024

将语言模型改造为嵌入模型：找寻计算最优配方

Repurposing Language Models into Embedding Models: Finding the Compute-Optimal Recipe

Alicja Ziarko, Albert Q. Jiang, Bartosz Piotrowski, Wenda Li, Mateja Jamnik...

TL;DR本文研究如何在计算优化的情况下对文本嵌入模型进行对比训练，通过使用一系列预训练的只有解码器的语言模型来产生最佳的模型配置、数据量和微调方法，从而适应不同的计算预算级别。我们通过广泛的实验得到了这些结论，可以帮助从业者为他们的嵌入模型做出明智的设计选择。具体而言，我们的发现表明，完全微调和低秩适应微调分别在较低和较高的计算预算下产生最佳模型。

Abstract

text embeddings are essential for many tasks, such as document retrieval, clustering, and semantic similarity assessment. In this paper, we study how to contrastively train text embedding models in a compute-optimal fashion, given a suite of pre-trained decoder-only →

text embeddings compute-optimal training language models model configurations fine-tuning methods

发现论文，激发创造

利用预训练语言模型生成通用文本嵌入以实现可扩展推断

研究使用共享文本编码器实现多任务推理以及使用二进制量化减少数据存储大小的方法，证明预训练的编码器在多个任务上表现的泛化性好。

Apr, 2020

烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

Apr, 2018

利用大型语言模型改进文本嵌入

通过使用合成数据和少于 1k 个训练步骤，我们引入了一种获取高质量文本嵌入的新颖简单方法。与现有方法不同，我们的方法不需要构建复杂的训练流程或依赖于常常受到任务多样性和语言覆盖性限制的人工收集的数据集。通过利用专有 LLMs 在近 100 种语言中生成大量多样化的合成数据，我们使用标准对比损失在合成数据上微调开源的只解码 LLMs。实验证明，我们的方法在高度竞争的文本嵌入基准上具有强大的性能，而不使用任何标记数据。此外，当用合成数据和标记数据的混合进行微调时，我们的模型在 BEIR 和 MTEB 基准上创造了最新的技术成果。

Dec, 2023

EnterpriseEM: 为企业语义搜索调整的嵌入

本研究提出了一种专门针对企业环境进行微调的预训练嵌入模型的方法，通过使嵌入模型更适合企业中普遍存在的检索任务，旨在提高信息检索解决方案的性能，研究结果表明微调嵌入模型在改善企业环境下搜索结果的精确性和相关性方面是有效的。

May, 2024

CHEF: 跨模态层次嵌入用于食品领域检索

本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

Feb, 2021

语言模型是通用嵌入器

大语言模型（LLM）革命中，嵌入是各种系统的关键组成部分。在本文中，我们迈出了迈向构建强大统一的嵌入模型的第一步，证明了多种语言（自然语言和编程语言）的预训练变换器解码器在有限英文数据微调后能够实现普遍嵌入。我们对各任务进行了全面实践和彻底评估，结果表明这是一条有希望的道路，可以应用于不同任务和语言。

Oct, 2023

针对检索任务的细化联合文本和源代码嵌入优化与参数高效微调

基于 Transformer 模型的代码 - 文本检索问题上，我们提出了一种使用参数高效微调技术的微调框架，并采用对比学习目标来改善 Transformer 模型学习到的双模态表示质量。通过在两个数据集上对 CodeT5 + 模型进行全面实验，我们证明了该微调框架有潜力通过微调最多 0.4％的参数来提高代码 - 文本检索性能。

May, 2024

通过基于大型语言模型的文本补充和重写增强嵌入性能

利用大型语言模型丰富和重写输入文本，改善嵌入模型的性能，并在特定领域取得显著改进。

Apr, 2024

驻足于起始处：语言模型如何嵌入长篇文档以进行稠密检索

这项研究调查了 Transformer-based 模型在文本表征学习中的位置偏差存在情况，特别是在网络文档检索的背景下。我们基于先前研究的基础上，拓展了关于因果性语言模型输入序列中信息丢失的问题，将其应用于表征学习领域。我们在编码器 - 解码器模型的各个训练阶段，包括语言模型预训练、对比度预训练和对比度微调中，研究了位置偏差。通过对 MS-MARCO 文档集的实验发现，在对比度预训练之后，该模型已经生成了能够更好地捕捉输入早期内容的嵌入向量，而微调进一步加剧了这种效果。

Apr, 2024

语言模型的嵌入重用

介绍了一种称为 embedding recycling 的方法，通过对预训练模型中间层的激活缓存，以及学习后续层的任务适配器，可实现在训练和推断时节省大量时间和计算成本的效果，通过在 17 到 900 million 参数的 8 个不同模型上进行测试，实验表明最优方案在训练中可以有超过 90% 的速度优化，在推断时可达到 87-91% 的速度提升，同时不会影响准确性。

Jul, 2022