检索增强大型语言模型的查询重写

May, 2023

检索增强大型语言模型的查询重写

Query Rewriting for Retrieval-Augmented Large Language Models

Xinbei Ma, Yeyun Gong, Pengcheng He, Hai Zhao, Nan Duan

TL;DR该研究介绍了一个新的 Rewrite-Retrieve-Read 框架，该框架从查询重写的角度改进了检索增强方法，并通过强化学习调整该框架的策略模型，通过开放域 QA 等下游任务进行了验证。

Abstract

large language models (LLMs) play a powerful \textit{Reader} of the \textit{Retrieve-then-Read} pipeline, making great progress in knowledge-based open-domain tasks. This work introduces a new framework, \textit{Rewrite-Retrieve-Read} that improves the retrieval-augmented method from t

large language models rewrite-retrieve-read framework query adaptation reinforcement learning open-domain qa

发现论文，激发创造

加强对话式搜索：大型语言模型辅助的信息性查询改写

通过利用大型语言模型作为查询重写器，并结合精心设计的指令，我们定义了四个重写的关键属性，提出了基于大型语言模型的查询重写方法。我们还介绍了 LLMs 的重写能力的提炼，并采用 “先重写后编辑” 的方法来处理初始查询重写。实验结果在 QReCC 数据集上表明，信息丰富的查询重写可以显著提高检索性能，特别是在检索器稀疏的情况下。

Oct, 2023

通过大型语言模型重定义结构化数据库的信息检索

本文介绍了一种名为 ChatLR 的新型检索增强框架，主要利用大型语言模型（LLMs）的强大语义理解能力作为检索器，以实现精确和简洁的信息检索。通过在金融领域微调 LLM 并构建基于 LLM 的搜索和问答系统，实验证明 ChatLR 在解决用户查询中表现出高达 98.8％的信息检索准确性。

May, 2024

大型语言模型时代的查询理解

本文提出了一种使用大语言模型的通用交互式查询重写框架，旨在提高透明性和意图理解能力，并改变传统的意图理解方法；在初步实验的支撑下，通过自然语言表达、交互和推理机器意图，取得了显著的排序性能提升。

Jun, 2023

最佳问题询问：将大型语言模型与检索器在对话式搜索中的偏好进行对齐

通过 RetPO 框架，使用 Retrievers' Feedback 构建了一个大规模数据集，属于对话语境下的问题重述，并通过该数据集对较小的语言模型进行了微调，从而在两个最新的对话式搜索基准测试中实现了最新、显著超越包括 GPT-3.5 在内的现有基准。

Feb, 2024

检索重构：大规模语言模型推理

本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

Dec, 2022

R4: 强化召回 - 重排 - 回应器用于检索增强的大型语言模型

提出了一种名为 “Reinforced Retriever-Reorder-Responder”（R^4）的新流程，用于学习检索增强大型语言模型（LLM）的文档排序，从而进一步增强它们的生成能力，同时保持 LLM 的参数不变。

May, 2024

LLM-R2: 改进的基于规则重写系统的大型语言模型用于提升查询效率

通过采用大语言模型（LLM）为数据库重写系统提出了一种名为 LLM-R2 的新型查询重写方法，该方法能够极大地提高查询执行效率，并且优于基线方法。

Apr, 2024

大型语言模型是强零 - shot 召回器

该论文提出了一种简单的方法，使用大规模语言模型作为信息检索的检索器，从而在零 - shot 场景下提高检索效率。该方法通过在检索词和其他相关域内候选之间进行组合，来辅助语言模型生成更精确的答案，使得检索更加透明，从而实现竞争力更强的检索结果。

Apr, 2023

个性化大型语言模型的优化方法：通过检索增强

本研究论文探讨了扩展的检索方法用于个性化大型语言模型，通过两种优化算法从下游任务获取反馈进行检索优化，并引入了一个预生成和后生成的检索模型来决定每个语言模型输入应选择哪个检索器。在多个任务中进行了大量实验，并获得了显著的统计结果。

Apr, 2024

RET-LLM：面向大型语言模型的通用读写内存

提出了一种新的 RET-LLM 框架，它为 LLMs 提供了一个通用的写 - 读内存单元，使它们能够从文本中提取、存储和检索知识，以便进行任务执行。通过 Davidsonian 语义理论，以三元组的形式提取和保存知识，在问答任务中展现出比基线方法更卓越的性能。此外，该框架在处理基于时间的问题回答任务时表现出了强大的性能，展示了它有效处理时态信息的能力。

May, 2023