本研究旨在探讨如何在不同语言中使用基于转换器的双编码器设计实现单语检索，包括使用多语言变压器的交叉语言一般化能力，在多场景下使用最佳实践指南解决单语检索问题，从而为构建低资源语言的搜索应用提供指南和基础。

Apr, 2022

该论文提出了一种简单的方法，使用大规模语言模型作为信息检索的检索器，从而在零-shot场景下提高检索效率。该方法通过在检索词和其他相关域内候选之间进行组合，来辅助语言模型生成更精确的答案，使得检索更加透明，从而实现竞争力更强的检索结果。

Apr, 2023

信息检索系统和大型语言模型的融合，包括关键方面，如查询重写、检索、重新排序和阅读器，在这一快速发展的研究领域中提供全面的概述和深入的见解。

Aug, 2023

利用LLM（大型语言模型）进行文档扩展进行预训练，显著提升了大规模网络搜索任务中的检索性能。

Aug, 2023

通过研究使用两种最先进的预训练大型语言模型进行检索增强和长上下文窗口的解决方案，我们发现使用简单的检索增强在生成时可以实现与微调后的具有16K上下文窗口通过位置插值在长上下文任务上具有可比性能的4K上下文窗口的大型语言模型，而计算量较小。此外，我们证明检索可以显著提高大型语言模型的性能，而不受其扩展上下文窗口大小的限制。我们的最佳模型，检索增强的32K上下文窗口的LLaMA2-70B，在7个长上下文任务中，包括问答和基于查询的摘要，的平均得分方面优于GPT-3.5-turbo-16k和Davinci003。它还在生成速度上优于其非检索的LLaMA2-70B-32k基线。我们的研究为从业者提供了关于选择检索增强与扩展大型语言模型的长上下文的一般见解。

Oct, 2023

信息检索中的全面检索方法被应用于大型语言模型的前提学习中，这些检索方法早期用于经典应用，但近期多用于异构且严格的应用，需要改进小K值的检索。我们提出了一种改进的密集检索方法，通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索，并在实验证明我们的方法相比于基于通用嵌入的基线有所改进。

Oct, 2023

通过使用SWIM-IR合成训练数据集，我们研究了多语言密集检索模型的能力，并在三个检索基准上对其进行了全面评估，发现SWIM-IR可以以较低成本替代昂贵的人工标记检索训练数据。

Nov, 2023

提出了一种新颖的方法LLaRA（LLM适应于密集检索），它作为LLM的事后适应工具，用于密集检索应用。LLaRA包括两个预处理任务：EBAE (基于嵌入的自编码)和EBAR (基于嵌入的自回归)，其中来自LLM的文本嵌入用于重建输入句子的标记并预测下一句的标记。LLaRA简单、轻量且高效，应用于LLMaMA-2-7B（基础）模型，在维基百科语料库上大大提升了模型对各种密集检索基准（如MSMARCO和BEIR）的微调性能。

Dec, 2023

该研究论文介绍了一种基于模型无关的文档级嵌入框架，通过大型语言模型（LLM）增强，改进了检索模型训练过程中的一些重要组件，如负采样、损失函数等。通过实现这个LLM增强的检索框架，我们显著提高了广泛使用的检索模型（如Bi-encoders和late-interaction models）的效果，并在LoTTE数据集和BEIR数据集上取得了最新的研究成果。

Apr, 2024

本研究解决了传统检索模型在领域准确性和推广能力方面的不足，通过对多种检索任务的全面实证研究，评估了大型语言模型（LLMs）的性能。研究发现，较大的模型和广泛的预训练能够持续提升领域准确性和数据有效性，并在零样本推广和多任务学习等方面展现出显著潜力，这为未来相关领域的研究与开发提供了重要见解。

Aug, 2024