Oct, 2024

基于向量存储、知识图谱和张量分解的领域特定检索增强生成

HTML
PDF
TL;DR本研究解决了大语言模型在知识密集型领域任务中的信息幻觉和知识截止问题，提出了SMART-SLIC框架，通过结合检索增强生成与知识图谱及向量存储，避免了对大语言模型的依赖。研究表明，该框架能够有效提高特定领域的问答准确性，并减少微调需求，具有广泛的适应性和潜在应用价值。
发现论文，激发创造
  • LeanContext: 高效领域特定问答的成本效益探究利用 LLMs

    LeanContext是一种从上下文中高效提取与查询密切相关的关键句子的方法，采用强化学习技术动态确定提取的句子数量，其余重要性较低的句子通过开源的文本缩减方法进行缩减。与保留完整上下文的基准方法相比，尽管成本减少了37.29％至67.81％，LeanContext的ROUGE-1得分仅下降了1.41％至2.65％。此外，如果使用免费预训练的基于大型语言模型的摘要方法来缩减上下文，LeanContext可以进一步修改缩减后的上下文，提高准确性（ROUGE-1得分）13.22％至24.61％。

    Sep, 2023

  • DIVKNOWQA: 通过知识库和文本进行开放领域问答评估LLM的推理能力

    大型语言模型在生成能力方面表现出色，但当仅依赖其内部知识时，容易出现幻觉，尤其是在回答需要不太常见的信息的问题时。基于检索的大型语言模型已经成为将其与外部知识结合的潜在解决方案，然而，最近的方法主要强调从非结构化文本语料库进行检索，忽视了底层结构。此外，当前领域存在一个显著的差距，即缺乏对异构知识源（如知识库和文本）上的大型语言模型进行有效定位的实际基准数据集。为了填补这一空白，我们精心策划了一个综合数据集，提出了两个独特挑战：（1）需要从开放域结构化和非结构化的知识源中检索信息的两跳多源问题，正确回答问题需要从结构化知识源中检索信息；（2）符号化查询（例如用于Wikidata的SPARQL）的生成是一个关键要求，增加了额外的挑战。我们的数据集通过预定义的推理链自动生成和人工注释相结合的方式创建，我们还引入了一种新颖的方法，利用多个检索工具，包括文本段落检索和符号化语言辅助检索。我们的模型在解决上述推理挑战方面优于以往的方法。

    Oct, 2023

  • 通过知识挖掘和摘要的自我增强领域特定聊天机器人训练方法

    通过从特定领域的文本源有效提取相关知识和自适应培训聊天机器人，我们引入了一种增强大型语言模型（LLMs）的新方法。我们的模型通过训练知识矿工LLMiner自动从相关文档中提取问题和答案对，并将这些QA对与对话数据集结合来对LLM进行微调，从而丰富了其特定领域的专业知识和对话能力。与通常基于领域语料库直接微调的模型相比，我们的模型在新的评估基准上表现出显著的性能改进，并且只需要人为介入的最小数量的种子实例，为LLMs通过模型合成的训练数据实现自我改善提供了可能性。

    Nov, 2023

  • 背景问题：基于图结构知识背景推动开放式回答生成的边界

    通过引入图驱动的上下文检索和基于知识图谱的增强来提高大型语言模型的能力，特别是在特定领域的社区问答平台中，提供上下文丰富的数据检索与大型语言模型的配对，为AI系统中的知识获取和生成带来了一种新的方法。

    Jan, 2024

  • REAR：一种针对开放领域的问题回答的关联感知检索增强框架

    本文提出了REAR，这是一种适用于开放领域问答的关联感知检索增强方法，通过在大型语言模型中引入一个能够准确评估检索文档相关性的排名头，以及通过双粒度相关融合和抗干扰训练的改进方法进行训练，REAR能够更好地利用外部知识并在四个开放领域问答任务中显著优于其他竞争性的RAG方法。

    Feb, 2024

  • 加强问答系统的领域特定微调和迭代推理：一项比较研究

    本文研究了领域特定的模型微调和推理机制对由大型语言模型（LLM）和检索增强生成（RAG）驱动的问答系统的性能的影响。通过使用FinanceBench SEC财务报告数据集，我们观察到，对于RAG，将微调的嵌入模型与微调的LLM结合使用可以获得比通用模型更高的准确性，其中微调的嵌入模型所带来的收益相对更大。此外，在RAG之上使用推理迭代可以进一步提高性能，使问答系统更接近人类专家水平。我们讨论了这些发现的影响，提出了一个结构化的技术设计空间，涵盖了问答AI的主要技术组成部分，并为这些组成部分提供了高影响的技术选择建议。我们计划在本工作的基础上为AI团队提供具体指南，并进一步研究RAG中领域特定增强以及先进规划和推理等自主AI能力的影响。

    Apr, 2024

  • 基于LLM的问答系统中检索组件的评估

    评估大规模语言模型在问答系统中的检索组件性能的基线方法。

    Jun, 2024

  • 结合大型语言模型与知识图谱以减少问答中的幻觉现象

    本研究解决了在生物医学领域中对信息准确性要求极高的问答系统中的幻觉问题。我们提出了一种新颖的方法，结合大型语言模型和知识图谱，通过查询检查器确保生成查询的语法和语义有效性，从而显著减少错误。研究表明，虽然GPT-4 Turbo在生成准确查询方面表现优异，但开源模型如llama3:70b在适当提示工程下也显示出潜力，这为问答系统提供了可靠且直观的解决方案。

    Sep, 2024

  • SimRAG：自我改进的检索增强生成方法，以适应大型语言模型于专业领域

    本研究针对将通用检索增强生成系统适应于科学和医学等专业领域所面临的挑战，提出了SimRAG自我训练方法。其创新性在于通过同时实现问答和问题生成能力，从未标记的数据中生成相关问题，并筛选高质量样本，以提升LLM在领域特定任务中的表现。实验结果表明，SimRAG在11个数据集中的表现优于基线模型1.2%至8.6%。

    Oct, 2024

  • 简单有效：图形与大型语言模型在知识图谱基础的检索增强生成中的作用

    该研究解决了大型语言模型（LLMs）在推理中遇到的幻觉和知识过时问题，提出了基于知识图谱的检索增强生成框架SubgraphRAG。通过创新性地引入多层感知机与并行三重评分机制，使得子图检索更加高效灵活，同时提高了检索效果。研究显示，SubgraphRAG能够在不进行微调的情况下，较小的LLMs提供解释性推理并与更大型模型如GPT-4o在准确性上媲美，从而显著减少幻觉并改善响应的基础支持。

    Oct, 2024