Jun, 2024

多步骤的无结构数据知识检索与推理

PDF
TL;DR通过整合精细调整的大型语言模型与具有逻辑推理、规划和交互式约束求解能力的强大符号推理引擎，本研究介绍了 Cora，一个基于神经符号人工智能平台构建的协作研究助手，该助手旨在高风险领域执行复杂的研究和探索任务。本研究讨论了此类领域中的多步推理挑战，批评了现有的基于大型语言模型的方法的局限性，并展示了 Cora 的神经符号方法如何有效应对这些问题。我们提供了系统架构概述、知识提取和形式推理的关键算法，并展示了初步评估结果，突显了 Cora 与知名的大型语言模型和 RAG 方法相比的优越性能。
large language modelsgenerative aineuro-symbolic aicorahigh-stakes decision-making
发现论文，激发创造
  • 面向知识密集任务的统一语言模型：利用外部语料库

    该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

    Feb, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 工具呼叫：通过检索增强大型语言模型提升药物咨询

    基于检索增强生成（RAG）的大规模语言模型（LLMs）在医学领域的知识密集型任务中表现出显著的性能提升，着重研究了利用 LLMs 和 RAG 框架回答基于医药数据库的查询问题，并提出了 Distill-Retrieve-Read 框架用于关键字搜索，实验结果证明了该框架在证据检索准确性方面的优势。

    Apr, 2024

  • 大型语言模型中的检索增强生成的开发与测试 -- 一份案例研究报告

    大型语言模型（LLMs）在医疗应用中具有重要潜力，而检索增强生成（RAG）被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程，验证了其可行性。

    Jan, 2024

  • 基于企业数据的 LLM 应用架构下生成式 AI 服务实现的研究

    本研究提出了一种利用大型语言模型（LLM）应用架构实现生成式人工智能服务的方法，通过利用生成式人工智能技术的最新进展，研究解决了信息匮乏的挑战，并通过利用 LLM 功能提出了具体的解决方案。研究探讨了缓解数据不足问题的策略，提供了量身定制的解决方案。通过实施检索增强生成（RAG）模型来解决上述挑战是工作的一个重要贡献，该模型被精心设计用于增强信息存储和检索过程，以确保改进的内容生成。本研究阐明了以 RAG 模型为基础的信息存储和检索方法的关键阶段，对这些步骤进行了全面分析，强调了它们在解决数据匮乏方面的重要性。研究突出了所提出方法的有效性，通过示例展示了其在实践中的适用性。通过实施 RAG 模型进行信息存储和检索，本研究不仅对生成式人工智能技术有了更深入的理解，而且还促进了利用 LLM 的企业内部的实际应用。这项工作在推进生成式人工智能领域，提供改进基于数据的内容生成以及促进企业内部利用 LLM 服务方面具有重要价值。

    Sep, 2023

  • KG-RAG: 知识与创造之间的桥梁

    该论文介绍了一种名为 KG-RAG（知识图谱 - 检索增强生成）的框架，通过将结构化的知识图谱与 LLMs 的功能集成，显著减少对 LLMs 潜在知识的依赖，从而提高 LLM 的知识能力。通过使用一种名为 CoE（Chain of Explorations）的算法，利用 LLMs 的推理能力在知识图谱中顺序地探索节点和关系，该方法较之前取得了显著减少虚构内容的结果，为发展处理知识密集型任务的智能系统提供了有希望的路径。

    May, 2024

  • 用于医学教育中大规模非结构化文本数据的检索增强生成和代表性向量摘要化

    本文讨论了检索增强生成模型在医学教育领域的应用，并提出了一种使用代表向量对大规模非结构化文本数据进行抽取和生成式摘要的方法。

    Aug, 2023

  • 基于图的检索器捕捉生物医学知识的长尾

    通过利用知识图谱缓解信息过载问题，本研究提出了一种新的信息检索方法，其检索性能在精确度和召回率两方面约为嵌入相似性方法的两倍，并且证明了嵌入相似性和知识图谱检索方法可以有益地结合成一个混合模型，优于两者，从而能够对生物医学问答模型进行潜在改进。

    Feb, 2024

  • 元认知检索增强的大型语言模型

    MetaRAG 通过将检索增强生成过程与元认知相结合，使模型能够监控、评估和规划其响应策略，提升其内省性推理能力，从而显著优于现有方法。

    Feb, 2024

  • 增强 LLM 智能：借助 ARM-RAG 进行辅助理由记忆以提高检索增强生成

    本文介绍了通过使用 Retrieval Augmented Generation（RAG）来改善问题求解性能的 ARM-RAG（Auxiliary Rationale Memory for Retrieval Augmented Generation）系统，并展示了存储和检索推理链对于小学数学问题的性能具有积极影响。

    Nov, 2023