先思考后行动：双角度评估检索增强生成

Jun, 2024

先思考后行动：双角度评估检索增强生成

Think-then-Act: A Dual-Angle Evaluated Retrieval-Augmented Generation

Yige Shen, Hao Jiang, Hua Qu, Jihong Zhao

TL;DR增强大型语言模型的获取机制，提出了一种双重评估的检索增强生成框架 Think-then-Act，通过评估输入查询的清晰度和完整性，判断是否需要重写查询，并评估模型回答查询的能力和是否需要额外的检索，实验证明该框架大幅提高了性能，优于现有基准，并在英语和非英语环境下表现良好，消融研究验证了最佳模型置信阈值，凸显了我们方法的资源优化效益。

Abstract

Despite their impressive capabilities, large language models (LLMs) often face challenges such as temporal misalignment and generating hallucinatory content. Enhancing LLMs with retrieval mechanisms to fetch rele

large language models retrieval mechanisms think-then-act performance improvement model confidence threshold

发现论文，激发创造

ReAct: 在语言模型中协同推理与行动

使用名为 ReAct 的方法，在大型语言模型中交错生成推理迹线和任务特定的操作，以促进两者之间的协作，从而在多项语言理解和决策任务中提高其有效性，同时优于缺乏推理或行为组件的方法。

Oct, 2022

检索增强的思维过程作为顺序决策制定

采用检索增强式思维过程（Retrieval-Augmented Thought Process）解决大型语言模型（Large Language Models）在隐私、幻觉和长上下文处理方面的挑战，从而在处理私人数据的问答任务中实现了与现有上下文检索增强语言模型相比 50% 的提升。

Feb, 2024

RAT: 检索增强思维在长远生成中引发上下文感知推理

通过信息检索迭代修订思维链能够显著提高大型语言模型在长期生成任务中的推理和生成能力，同时极大地减少错误生成。

Mar, 2024

强化信息检索与生成的大型语言模型

我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

Oct, 2023

主动检索增强生成

该论文提出了基于预测未来内容并利用其作为查询来检索相关文档的 Forward-Looking Active Retrieval augmented generation (FLARE) 方法，用以提高在生成长文本时控制语言模型虚构和不准确性的能力。测试证明，FLARE 在 4 个长篇知识密集型生成任务 / 数据集上表现优异，证明了该方法的有效性。

May, 2023

元认知检索增强的大型语言模型

MetaRAG 通过将检索增强生成过程与元认知相结合，使模型能够监控、评估和规划其响应策略，提升其内省性推理能力，从而显著优于现有方法。

Feb, 2024

多跳问题回答中的生成先然后建模的检索增强生成

多跳问题回答 (MHQA) 任务对于大型语言模型 (LLMs) 来说是一项重大挑战。我们提出了一个新颖的生成然后固定 (GenGround) 框架，结合 LLMs 的参数化知识和外部文档，以解决多跳问题。通过在检索的文档中确认问题 - 答案对，我们的方法在四个数据集上展示了其优越性。

Jun, 2024

使用迭代检索生成协同技术增强检索增强型大型语言模型

本研究提出一种名为 Iter-RetGen 的方法，通过检索和生成的迭代协同作用，以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成，而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销，从而提高了性能。

May, 2023

检索 - 规划 - 生成：面向知识密集 LL M 生成的迭代规划和回答框架

提出了 Retrieve-Plan-Generation（RPG）框架，通过生成计划令牌指导后续生成，在答案阶段根据计划选择相关的细粒度段落，并将它们用于进一步的答案生成，从而提高生成的相关性。利用简单但有效的多任务提示调优方法实现了该框架，使现有的大型语言模型能够处理计划和答案两个任务。通过在 5 个知识密集型生成任务上与基准方法进行全面比较，证明了我们的方法的有效性。

Jun, 2024

相似性不是唯一的需求：为具有多层思维的检索增强生成赋能

大型语言模型近年来在各个领域取得了显著成就，然而，知识更新的及时性和成本以及语言模型的幻觉问题等因素限制了其在知识密集型任务中的应用，而检索增强生成可以提供帮助。因此，本研究提出了一种名为 MetRag 的多层思维增强的检索增强生成框架，综合了相似性思维和效用思维，并将大型语言模型用作任务自适应摘要工具，以提升检索增强生成的紧凑性。通过对知识密集型任务的大量实验，证明了 MetRag 的优越性。

May, 2024