Feb, 2024

检索增强的思维过程作为顺序决策制定

PDF
TL;DR采用检索增强式思维过程（Retrieval-Augmented Thought Process）解决大型语言模型（Large Language Models）在隐私、幻觉和长上下文处理方面的挑战，从而在处理私人数据的问答任务中实现了与现有上下文检索增强语言模型相比 50% 的提升。
发现论文，激发创造
  • RAT: 检索增强思维在长远生成中引发上下文感知推理

    通过信息检索迭代修订思维链能够显著提高大型语言模型在长期生成任务中的推理和生成能力，同时极大地减少错误生成。

    Mar, 2024

  • RATT: 一个用于连贯和准确的 LLM 推理的思维结构

    通过引入检索增强思维树（RATT），结合事实知识和策略可行性，以提高大型语言模型（LLMs）的逻辑推理和决策效率。经过各种任务的广泛实验验证，RATT 在事实正确性和逻辑连贯性方面明显优于现有方法。

    Jun, 2024

  • 基于上下文记忆的检索增强规划的多模态 LLM 智能体

    通过提出检索增强规划框架，本研究解决了人类行为在当前决策过程中产生的挑战，并展示了该框架在文本场景和多模态任务中的效果，突显了大型语言模型在复杂实际应用中的功能和适用性。

    Feb, 2024

  • 检索重构：大规模语言模型推理

    本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

    Dec, 2022

  • 元认知检索增强的大型语言模型

    MetaRAG 通过将检索增强生成过程与元认知相结合，使模型能够监控、评估和规划其响应策略，提升其内省性推理能力，从而显著优于现有方法。

    Feb, 2024

  • RAPTOR: 递归抽象处理树形检索

    使用递归嵌入、递归摘要等方法的召回增强型语言模型可以在问题回答任务中取得卓越的结果，并在整体文档上具有整体的理解能力。

    Jan, 2024

  • 知识密集型多步问题的交错检索与思维链推理

    提出了 IRCoT 方法，在多步 QA 过程中使用检索和 CoT 交替进行，同时使用检索的结果来改善 CoT。在 HotpotQA、2WikiMultihopQA、MuSiQue 和 IIRC 四个数据集上，使用 IRCoT 方法取得了显著的检索和 QA 性能改进，即便是在小型模型 T5-Flan-large（0.7B）上也能奏效。

    Dec, 2022

  • 先思考后行动：双角度评估检索增强生成

    增强大型语言模型的获取机制，提出了一种双重评估的检索增强生成框架 Think-then-Act，通过评估输入查询的清晰度和完整性，判断是否需要重写查询，并评估模型回答查询的能力和是否需要额外的检索，实验证明该框架大幅提高了性能，优于现有基准，并在英语和非英语环境下表现良好，消融研究验证了最佳模型置信阈值，凸显了我们方法的资源优化效益。

    Jun, 2024

  • 对话式语言模型的推理即世界模型的规划

    本文介绍了基于 Monte Carlo 搜索算法的新型大语言模型推理框架 RAP，利用其上的世界模型进行计划生成和复杂推理。从多个任务测试中，RAP 在效率和准确率上都超过了 Chain-of-Thought 等现有方案。

    May, 2023

  • 自检索的长距离语言建模

    本文中，我们提出了一种用于从头开始联合训练检索增强语言模型的架构和训练流程，名为 Retrieval-Pretrained Transformer（RPT），并使用四个长程语言建模任务进行了评估，横跨图书、代码和数学写作，证明了与强基线相比，RPT 改善了整体的检索质量和困惑度。

    Jun, 2023