Aug, 2023

SimplyRetrieve: 一个私密且轻量级的以检索为中心的生成人工智能工具

PDF
TL;DR基于大语言模型（LLM）的生成型人工智能系统近年来取得了显著进展。集成知识检索架构可以无需额外模型微调，实现私有数据与公开可用的生成型人工智能系统的无缝集成。此外，提出的检索中心化生成（RCG）方法将 LLMs 和检索器在上下文解释和知识记忆方面明确分离，这可能导致更高效的实现。SimplyRetrieve 是一个开源工具，旨在为机器学习社区提供本地化、轻量级和用户友好的接口，支持 GUI 和 API 的 RCG 平台，并辅以一个私有知识库构建器和检索调优模块。通过利用这些功能，用户可以探索 RCG 改善生成型人工智能性能的潜力，同时保持隐私标准。该工具可以在此 https URL 获取，并附有 MIT 许可。
large language modelgenerative ai systemsknowledge retrieval architectureretrieval-centric generationsimplyretrieve
发现论文，激发创造
  • 使用迭代检索生成协同技术增强检索增强型大型语言模型

    本研究提出一种名为 Iter-RetGen 的方法，通过检索和生成的迭代协同作用，以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成，而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销，从而提高了性能。

    May, 2023

  • 肿瘤检索生成分类器

    利用生成式大语言模型检索和提取信息，构建领域特定的检索器，为临床医疗组织提供解决真实世界电子病历数据查询问题的路径。

    Apr, 2024

  • 计划和编辑检索结果以提高工具学习

    通过引入一种新的模型名为 “Plan-and-Retrieve (P&R)” 和 “Edit-and-Ground (E&G)” 的方法，本文提出了一种集成外部工具与大型语言模型的新方法，显著提高了工具检索任务的召回率和 NDCG，并超越了当前最先进的模型。

    Mar, 2024

  • 弥合检索模型与语言模型之间的偏好差距

    我们提出了一个新的桥接模型，并验证了 RAG 中检索器的排序和选择假设，并提出了一个将监督学习和强化学习连接起来的培训框架，在问答和个性化生成任务中证明了我们方法的有效性。

    Jan, 2024

  • 面向知识密集任务的统一语言模型：利用外部语料库

    该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

    Feb, 2024

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 多步骤的无结构数据知识检索与推理

    通过整合精细调整的大型语言模型与具有逻辑推理、规划和交互式约束求解能力的强大符号推理引擎，本研究介绍了 Cora，一个基于神经符号人工智能平台构建的协作研究助手，该助手旨在高风险领域执行复杂的研究和探索任务。本研究讨论了此类领域中的多步推理挑战，批评了现有的基于大型语言模型的方法的局限性，并展示了 Cora 的神经符号方法如何有效应对这些问题。我们提供了系统架构概述、知识提取和形式推理的关键算法，并展示了初步评估结果，突显了 Cora 与知名的大型语言模型和 RAG 方法相比的优越性能。

    Jun, 2024

  • 生成式检索中的学习排序

    提出了一个称为 LTRGR 的新框架，结合了生成式检索和经典的学习 - 排序模型，通过使用段落排名损失训练自回归模型，只需要额外的训练步骤即可增强当前的生成式检索系统，并在三个公共数据集上实现了最先进的性能。

    Jun, 2023

  • 基于生成检索增强的本体图和多智能体策略的解释性大型语言模型材料设计

    使用 Transformer 神经网络和大型语言模型进行材料分析、知识生成和力场开发的研究。

    Oct, 2023

  • 利用大型语言模型的生成式多模态知识检索

    我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

    Jan, 2024