通过引入Contextual Document Embedding Reranking (CODER)，可以显著提高基于对比学习的密集检索模型的检索性能，特别是当更多的相关信息可用时，如在TripClick集合中观察到的情况下，可以获得大幅度的改进并取得新的最优结果。

Dec, 2021

本文提出了新的检索模型，结合了指令模型和基于检索模型，使用大型语言模型的正负对进行训练，以改进当前文本嵌入技术性能。

May, 2023

信息检索中的全面检索方法被应用于大型语言模型的前提学习中，这些检索方法早期用于经典应用，但近期多用于异构且严格的应用，需要改进小K值的检索。我们提出了一种改进的密集检索方法，通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索，并在实验证明我们的方法相比于基于通用嵌入的基线有所改进。

Oct, 2023

通过自定义 Search-Adaptor 方法，我们可以提高预训练大型语言模型在信息检索和搜索领域的性能，有效且稳健地修改原始文本嵌入向量，与任何语言模型集成，并在多个实际英语和多语种检索数据集上取得一致且显著的性能提升。

Oct, 2023

通过密集嵌入式检索技术，提出了一种名为End-to-end Hierarchical Indexing（EHI）的方法，同时学习嵌入和近似最近邻搜索结构，以优化检索性能。在几个基准测试中，EHI在相同的计算预算下超过了业界标准，例如在MS MARCO开发集上的MRR@10指标提高了0.6％，在TREC DL19基准测试上的nDCG@10指标提高了4.2％。

Oct, 2023

提出了一种新颖的方法LLaRA（LLM适应于密集检索），它作为LLM的事后适应工具，用于密集检索应用。LLaRA包括两个预处理任务：EBAE (基于嵌入的自编码)和EBAR (基于嵌入的自回归)，其中来自LLM的文本嵌入用于重建输入句子的标记并预测下一句的标记。LLaRA简单、轻量且高效，应用于LLMaMA-2-7B（基础）模型，在维基百科语料库上大大提升了模型对各种密集检索基准（如MSMARCO和BEIR）的微调性能。

Dec, 2023

本文介绍了一种新的嵌入模型M3-Embedding，其以其多语、多功能和多粒度的通用性而脱颖而出。它支持100多种工作语言，展示了在多语言和跨语言检索任务上的最新性能，同时能够同时执行三种常见检索功能：密集检索、多向量检索和稀疏检索，为现实世界的信息检索应用提供了统一的模型基础。该模型能够处理不同粒度的输入，从短句到最长8192个标记的长文档。我们提出了一种新颖的自知识蒸馏方法，通过集成来自不同检索功能的相关性得分作为教师信号来增强训练质量，并优化了批处理策略，以确保嵌入的区分性。据我们所知，M3-Embedding是第一个实现如此强大通用性的嵌入模型。该模型和代码将公开在指定的URL链接中。

Feb, 2024

该研究论文介绍了一种基于模型无关的文档级嵌入框架，通过大型语言模型（LLM）增强，改进了检索模型训练过程中的一些重要组件，如负采样、损失函数等。通过实现这个LLM增强的检索框架，我们显著提高了广泛使用的检索模型（如Bi-encoders和late-interaction models）的效果，并在LoTTE数据集和BEIR数据集上取得了最新的研究成果。

Apr, 2024

本研究解决了传统检索模型在领域准确性和推广能力方面的不足，通过对多种检索任务的全面实证研究，评估了大型语言模型（LLMs）的性能。研究发现，较大的模型和广泛的预训练能够持续提升领域准确性和数据有效性，并在零样本推广和多任务学习等方面展现出显著潜力，这为未来相关领域的研究与开发提供了重要见解。

Aug, 2024

本研究解决了多语言增强生成任务中嵌入模型性能评估的缺乏。文中提出了IRSC基准及新指标SSCI和RCCI，通过对多种模型的评估，发现并探讨了嵌入模型的跨语言局限性，旨在推动更精确的检索系统的发展。

Sep, 2024