Oct, 2023

搜索适配器：信息检索的文本嵌入定制化

PDF
TL;DR通过自定义 Search-Adaptor 方法，我们可以提高预训练大型语言模型在信息检索和搜索领域的性能，有效且稳健地修改原始文本嵌入向量，与任何语言模型集成，并在多个实际英语和多语种检索数据集上取得一致且显著的性能提升。
发现论文，激发创造
  • 基于摘要描述的文本检索

    本文提出了新的检索模型，结合了指令模型和基于检索模型，使用大型语言模型的正负对进行训练，以改进当前文本嵌入技术性能。

    May, 2023

  • RE-AdaptIR: 逆向工程的改进信息检索适应性

    通过使用未标记的数据，我们研究了倒向工程适应信息检索 (RE-AdaptIR) 的有效性，以改进只使用未标记数据的基于大语言模型的信息检索 (LLM-based IR) 模型， 并且展示了在培训领域和未见过查询的领域中性能的改善。

    Jun, 2024

  • 将 LLMs 转化为跨模态和跨语言检索系统

    使用大型语言模型进行多模态双编码检索系统，能够在多种语言中匹配语音和文本，提升召回率并实现跨语言匹配。

    Apr, 2024

  • LLM-Augmented Retrieval: 借助语言模型和文档级嵌入增强检索模型

    该研究论文介绍了一种基于模型无关的文档级嵌入框架，通过大型语言模型（LLM）增强，改进了检索模型训练过程中的一些重要组件，如负采样、损失函数等。通过实现这个 LLM 增强的检索框架，我们显著提高了广泛使用的检索模型（如 Bi-encoders 和 late-interaction models）的效果，并在 LoTTE 数据集和 BEIR 数据集上取得了最新的研究成果。

    Apr, 2024

  • 为高效、个性化信息检索调整语言模型的方法与影响

    大型语言模型（LLMs）在信息检索方面的优化、模型幻觉、用户隐私等关键问题的研究。

    Nov, 2023

  • 增强嵌入用于定制检索

    信息检索中的全面检索方法被应用于大型语言模型的前提学习中，这些检索方法早期用于经典应用，但近期多用于异构且严格的应用，需要改进小 K 值的检索。我们提出了一种改进的密集检索方法，通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索，并在实验证明我们的方法相比于基于通用嵌入的基线有所改进。

    Oct, 2023

  • 通过基于大型语言模型的文本补充和重写增强嵌入性能

    利用大型语言模型丰富和重写输入文本，改善嵌入模型的性能，并在特定领域取得显著改进。

    Apr, 2024

  • 使用适配器实现跨语言稠密检索的高效零 - shot 转移

    本文研究了利用 adapters 实现单语言检索模型的跨语言迁移，证明了使用 adapters 的密集检索模型在语言迁移方面比整个模型 fine-tuning 更加有效。

    Dec, 2022

  • 构建更好的基于大型语言模型的稠密检索模型

    提出了一种新颖的方法 LLaRA（LLM 适应于密集检索），它作为 LLM 的事后适应工具，用于密集检索应用。LLaRA 包括两个预处理任务：EBAE (基于嵌入的自编码) 和 EBAR (基于嵌入的自回归)，其中来自 LLM 的文本嵌入用于重建输入句子的标记并预测下一句的标记。LLaRA 简单、轻量且高效，应用于 LLMaMA-2-7B（基础）模型，在维基百科语料库上大大提升了模型对各种密集检索基准（如 MSMARCO 和 BEIR）的微调性能。

    Dec, 2023

  • 用户 - LLM: 基于用户嵌入的高效 LLM 语境化

    利用用户嵌入来上下文化大型语言模型，实现显著性能提升。

    Feb, 2024