ACLMar, 2024

计划和编辑检索结果以提高工具学习

PDF
TL;DR通过引入一种新的模型名为 “Plan-and-Retrieve (P&R)” 和 “Edit-and-Ground (E&G)” 的方法，本文提出了一种集成外部工具与大型语言模型的新方法，显著提高了工具检索任务的召回率和 NDCG，并超越了当前最先进的模型。
large language modelsexternal toolsplan-and-retrieve paradigmedit-and-ground paradigmtool retrieval tasks
发现论文，激发创造
  • 利用大型语言模型的迭代反馈增强工具检索

    通过迭代反馈的方式，提高大型语言模型对工具检索的理解，从而在领域内外的评估中取得卓越表现。

    Jun, 2024

  • 检索重构：大规模语言模型推理

    本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

    Dec, 2022

  • 从知识图谱中学习为检索增强的大型语言模型规划

    使用来自知识图谱的规划数据，我们介绍了一种增强大型语言模型在复杂问答任务中的性能的新框架，通过使用这些数据对 LLMs 进行微调，提高其规划能力，更好地处理涉及检索的复杂 QA 任务。我们的框架在多个数据集上进行评估，包括我们提出的新基准，突出了其有效性和知识图谱派生规划数据的好处。

    Jun, 2024

  • ProTIP：渐进式工具检索改进规划

    ProTIP 是一种轻量级、基于对比学习的框架，可以在不需要明确的子任务标签的情况下隐式地进行任务分解，同时保持子任务与工具的原子性。在 ToolBench 数据集上，ProTIP 相比于基于 ChatGPT 的任务分解方法，在工具检索和计划生成方面取得了显著的性能提升，检索召回率提高了 24%，工具准确性提高了 41%。

    Dec, 2023

  • 检索增强大型语言模型的查询重写

    该研究介绍了一个新的 Rewrite-Retrieve-Read 框架，该框架从查询重写的角度改进了检索增强方法，并通过强化学习调整该框架的策略模型，通过开放域 QA 等下游任务进行了验证。

    May, 2023

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • COLT: 面向大型语言模型的完整性导向工具检索

    通过 COLT 模型，可以实现与用户查询语义相似并具有协同关系的工具的检索，该模型在工具检索方面的性能超过了参数更多的 BERT-large (340M) 模型，并公开发布了 ToolLens 数据集以支持进一步的工具检索研究。

    May, 2024

  • 上下文调整以提升检索增强生成

    利用上下文调整的检索增强生成模型可以通过智能上下文检索系统获取相关信息，从而提高工具检索和计划生成的准确性。其中，语义搜索在不完整或缺乏上下文的情况下容易失效。经验证明，上下文调整显著提高了语义搜索的性能，并且对于上下文检索和工具检索任务分别实现了 3.5 倍和 1.5 倍的提升，同时使基于 LLM 的计划生成的准确性增加了 11.6％。此外，在使用倒数排名融合（RRF）和 LambdaMART 的轻量级模型时，还观察到了计划生成阶段的上下文增强可以减少虚构现象。

    Dec, 2023

  • 检索 - 规划 - 生成：面向知识密集 LL M 生成的迭代规划和回答框架

    提出了 Retrieve-Plan-Generation（RPG）框架，通过生成计划令牌指导后续生成，在答案阶段根据计划选择相关的细粒度段落，并将它们用于进一步的答案生成，从而提高生成的相关性。利用简单但有效的多任务提示调优方法实现了该框架，使现有的大型语言模型能够处理计划和答案两个任务。通过在 5 个知识密集型生成任务上与基准方法进行全面比较，证明了我们的方法的有效性。

    Jun, 2024

  • SimplyRetrieve: 一个私密且轻量级的以检索为中心的生成人工智能工具

    基于大语言模型（LLM）的生成型人工智能系统近年来取得了显著进展。集成知识检索架构可以无需额外模型微调，实现私有数据与公开可用的生成型人工智能系统的无缝集成。此外，提出的检索中心化生成（RCG）方法将 LLMs 和检索器在上下文解释和知识记忆方面明确分离，这可能导致更高效的实现。SimplyRetrieve 是一个开源工具，旨在为机器学习社区提供本地化、轻量级和用户友好的接口，支持 GUI 和 API 的 RCG 平台，并辅以一个私有知识库构建器和检索调优模块。通过利用这些功能，用户可以探索 RCG 改善生成型人工智能性能的潜力，同时保持隐私标准。该工具可以在此 https URL 获取，并附有 MIT 许可。

    Aug, 2023