Feb, 2024

BGE M3 - 嵌入：通过自我知识蒸馏实现多语言、多功能、多粒度的文本嵌入

PDF
TL;DR本文介绍了一种新的嵌入模型 M3-Embedding，其以其多语、多功能和多粒度的通用性而脱颖而出。它支持 100 多种工作语言，展示了在多语言和跨语言检索任务上的最新性能，同时能够同时执行三种常见检索功能：密集检索、多向量检索和稀疏检索，为现实世界的信息检索应用提供了统一的模型基础。该模型能够处理不同粒度的输入，从短句到最长 8192 个标记的长文档。我们提出了一种新颖的自知识蒸馏方法，通过集成来自不同检索功能的相关性得分作为教师信号来增强训练质量，并优化了批处理策略，以确保嵌入的区分性。据我们所知，M3-Embedding 是第一个实现如此强大通用性的嵌入模型。该模型和代码将公开在指定的 URL 链接中。
m3-embeddingembedding modelmulti-lingual retrievalrelevance scoresself-knowledge distillation
发现论文，激发创造
  • 基于预训练嵌入的多语言和多模态主题建模

    本文介绍了一种新颖的多模态多语言（M3L）神经话题模型 M3L-Contrast，用于可比较数据，将多种语言和图像映射到共享的话题空间中，该模型利用预训练的文本和图像嵌入，抽象不同语言和模态之间的复杂性，并产生对齐的语言特定话题。同时，该模型还可以推断图像中语义概念的文本表示。我们证明了我们的模型在预测可比较的多语言数据的话题分布方面与零 - shot 模型相当，且在预测可比较的文本和图像的话题分布方面比零 - shot 模型表现更好。同时，我们还展示了我们的模型在未对齐嵌入上的表现几乎与在对齐嵌入上的表现一样好。

    Nov, 2022

  • 多语种 E5 文本嵌入：技术报告

    本技术报告介绍了开源多语言 E5 文本嵌入模型的训练方法和评估结果，该模型于 2023 年中期发布。提供了三种不同大小的嵌入模型（小 / 基础 / 大），在推理效率和嵌入质量之间取得平衡。训练过程遵循英文 E5 模型的方法，包括对 10 亿个多语言文本对进行对比预训练，然后在一系列标记数据集上进行微调。此外，我们引入了一种新的指令调整嵌入模型，其性能与类似规模的最先进英文模型相当。有关模型发布的信息可以在此 https 网址中找到。

    Feb, 2024

  • 自然语言处理的多语言多模态嵌入

    我们提出了一种新的判别模型，它从多语言和多模态数据中学习嵌入，因此我们的模型可以利用多种语言的图像和描述来提高嵌入质量。通过对图像和语句进行排名、对语义文本相似性进行评估，以及对神经机器翻译进行评估，我们发现附加的多语言信号可以改进 ISR 和 STS 任务，并且判别成本也可以用于重新排列 NMT 模型产生的最佳 $n$ 列表，从而产生强大的改进。

    Feb, 2017

  • 使用知识蒸馏将单语句子嵌入多语言

    本文介绍了一种将现有的句子嵌入模型扩展到新语言的简便有效方法，训练基于将翻译后的句子映射到与原始句子相同的向量空间位置的思想，相较于其他多语言句子嵌入训练方法，具有扩展现有模型以增加新语言的简易性、保证向量空间所需属性的易操作性和较低的硬件要求等优势。代码已公开，可以用于将句子嵌入模型扩展到 400 多种语言。

    Apr, 2020

  • M3：一种用于开域多跳密集句子检索的多任务混合目标学习框架

    本文介绍了 M3，一种基于多任务混合目标方法的高级递归多跳密集句检索系统，用于密集文本表示学习，能够有效地解决基于对比学习的检索性能问题，并在大规模开放领域事实验证基准数据集 FEVER 上取得了最先进的性能。

    Mar, 2024

  • 多模式生成嵌入模型

    多模态生成嵌入模型能够同时处理多模态任务，在效率上具有竞争力，具备良好的图像标题生成和文本图像检索能力。

    May, 2024

  • 语言模型是通用嵌入器

    大语言模型（LLM）革命中，嵌入是各种系统的关键组成部分。在本文中，我们迈出了迈向构建强大统一的嵌入模型的第一步，证明了多种语言（自然语言和编程语言）的预训练变换器解码器在有限英文数据微调后能够实现普遍嵌入。我们对各任务进行了全面实践和彻底评估，结果表明这是一条有希望的道路，可以应用于不同任务和语言。

    Oct, 2023

  • Gecko：从大型语言模型中提取的多功能文本嵌入

    我们提出了一种紧凑而多功能的文本嵌入模型 Gecko，其通过利用大语言模型（LLMs）将知识从 LLMs 中提炼到检索器中来实现强大的检索性能。

    Mar, 2024

  • 8192 个标记双语文本嵌入的多任务对比学习

    该研究介绍了一套新颖的双语文本嵌入模型，能够处理长度长达 8192 个标记的文本输入，支持英语和目标语言，适用于文本检索、聚类和语义文本相似性计算等自然语言处理任务。通过专注于双语模型和引入独特的多任务学习目标，研究提高了 STS 任务模型性能，在目标语言理解和跨语言评估任务方面超过现有的多语言模型能力。此外，这些双语模型更高效，需要较少的参数和内存，因为它们具有较小的词汇需求。研究还扩展了大规模文本嵌入基准 (MTEB)，加入了德语和西班牙语嵌入模型的基准，旨在促进这些语言的文本嵌入技术的进一步研究和发展。

    Feb, 2024

  • M3-VRD：多模态多任务多教师基于视觉丰富的表格文档理解

    本论文介绍一种划时代的多模态、多任务、多教师关节粒度知识蒸馏模型，用于视觉丰富型表单文件的理解。该模型旨在通过促进标记和实体表示之间微妙的相关性，从细粒度和粗粒度层面的洞察中获取 in design，从而解决表单文件中的复杂性问题。此外，我们引入了新的相互粒度损失函数和交叉粒度损失函数，以进一步优化多教师知识蒸馏的传递过程，呈现出分布差异和对表单文件的协调理解。通过全面评估公开可用的表单文件理解数据集，我们提出的模型始终优于现有基准线，在处理视觉复杂表单文件的复杂结构和内容方面展示其功效。

    Feb, 2024