Jun, 2024

将语言模型改造为嵌入模型：找寻计算最优配方

HTML
PDF
TL;DR本文研究如何在计算优化的情况下对文本嵌入模型进行对比训练，通过使用一系列预训练的只有解码器的语言模型来产生最佳的模型配置、数据量和微调方法，从而适应不同的计算预算级别。我们通过广泛的实验得到了这些结论，可以帮助从业者为他们的嵌入模型做出明智的设计选择。具体而言，我们的发现表明，完全微调和低秩适应微调分别在较低和较高的计算预算下产生最佳模型。
发现论文，激发创造
  • 解码解码器：为无监督相似性任务找到最佳表示空间

    简单模型在无监督相似性任务中优于复杂深度网络的实验证据，本文提供了一种基于最佳表示空间的简单而严格的解释，介绍了一种直接的方法，使深度复发模型（DRM）在不重新训练或结构修改的情况下，达到与浅层模型同等或更优的表现。

    May, 2018

  • 利用预训练语言模型生成通用文本嵌入以实现可扩展推断

    研究使用共享文本编码器实现多任务推理以及使用二进制量化减少数据存储大小的方法，证明预训练的编码器在多个任务上表现的泛化性好。

    Apr, 2020

  • 使用预训练语言模型生成数据集

    本文介绍了一种利用预训练语言模型生成标注文本数据集的方法，从而实现高质量的无监督学习得到的句子嵌入。实验结果表明，这种方法在多个语义文本相似性测试数据上实现了比较好的性能表现。

    Apr, 2021

  • 对比式预训练用于文本与代码嵌入

    本文研究了使用对比方式的自监督无监督训练大规模文本向量化，得到的向量在文本与代码搜索中表现优异，相较于之前使用监督学习方法的实验结果，相对提升了4%到23.4%不等。

    Jan, 2022

  • 实现具有渐进学习的鲁棒文本检索

    本文提出了一种用于强化文本检索的逐步学习嵌入模型 (PEG)，通过增加负样本数量、提取难例负样本以及引入逐步学习机制，PEG 在检索真正的正例方面超过了现有的嵌入模型，在大语言模型的应用中具有重要潜力。

    Nov, 2023

  • 利用大型语言模型改进文本嵌入

    通过使用合成数据和少于1k个训练步骤，我们引入了一种获取高质量文本嵌入的新颖简单方法。与现有方法不同，我们的方法不需要构建复杂的训练流程或依赖于常常受到任务多样性和语言覆盖性限制的人工收集的数据集。通过利用专有LLMs在近100种语言中生成大量多样化的合成数据，我们使用标准对比损失在合成数据上微调开源的只解码LLMs。实验证明，我们的方法在高度竞争的文本嵌入基准上具有强大的性能，而不使用任何标记数据。此外，当用合成数据和标记数据的混合进行微调时，我们的模型在BEIR和MTEB基准上创造了最新的技术成果。

    Dec, 2023

  • 通过基于大型语言模型的文本补充和重写增强嵌入性能

    利用大型语言模型丰富和重写输入文本，改善嵌入模型的性能，并在特定领域取得显著改进。

    Apr, 2024

  • 文本嵌入的最新进展：MTEB基准测试中最佳方法的综述

    通过对最近大规模文本嵌入基准测试中表现最好的文本嵌入进行详细比较和分析，本文概述了通用文本嵌入模型的最新进展，突出了该领域的关键贡献和局限，并提出了潜在的灵感未来研究方向。

    May, 2024

  • 利用对比微调提升小型语言模型的文本嵌入

    本研究解决了小型语言模型在自然语言理解中的表现不足问题，通过对比微调提升文本嵌入的质量。主要发现是，使用对比微调的方法使得所有模型的性能得到了提升，其中MiniCPM的平均性能提升达到56.33%。

    Aug, 2024

  • 通过对比微调改进小型语言模型的文本嵌入

    本研究解决了小型语言模型在性能和可访问性方面的不足，提出了一种通过对比微调改善文本嵌入的方法。研究结果表明，该方法显著提高了MiniCPM等模型的性能，MiniCPM的平均性能提升达56.33%。

    Aug, 2024