Oct, 2023

ChatKBQA：一种基于生成 - 检索框架的知识库问答方法，利用已训练过的大型语言模型进行微调

PDF
TL;DR利用大型语言模型构建生成 - 检索知识库问答 (ChatKBQA) 框架，在知识检索和语义解析两个研究组件方面面临三个核心挑战，即低效的知识检索、检索错误对语义解析的不利影响以及以往 KBQA 方法的复杂性。该框架通过首先使用已经微调的大型语言模型生成逻辑形式，然后通过无监督的检索方法检索并替换实体和关系，从而更直接地改善了生成和检索。实验结果表明，ChatKBQA 在标准 KBQA 数据集 WebQSP 和 ComplexWebQuestions (CWQ) 上取得了最新的最佳性能。这项工作还为将大型语言模型与知识图谱 (KG) 相结合提供了新的范例，以实现可解释性和知识需求的问答。
发现论文，激发创造
  • 交互式 KBQA：大型语言模型的知识库问答多轮交互

    通过与知识库进行直接交互生成逻辑形式，我们引入了 Interactive-KBQA 框架来解决知识库问答领域的问题，该框架包括三种通用 API 用于知识库交互，通过步骤推理过程注释数据集，展示了我们模型的适应性和潜力，并在低资源场景中以极少的示例达到了优秀的结果。

    Feb, 2024

  • 一种基于学习后推理模型的知识库问答通用化方法

    KBLLaMA 研究知识库问答系统的学习 - 推理框架，向大型语言模型注入新的知识以提高其泛化能力，在各种问答任务中表现出最先进的性能。

    Jun, 2024

  • FlexKBQA: 一个灵活的 LLM 驱动框架用于少样本知识库问答

    FlexKBQA 是一种利用大型语言模型解决少样本知识库问答任务的方法，通过自动化算法从知识库中生成多样的程序，利用语言模型将其转化为自然语言问题。该方法还引入了执行引导自训练的策略来缓解合成数据和真实用户问题之间的分布差异，并利用大型语言模型的推理能力来增强整个框架。在 GrailQA、WebQSP 和 KQA Pro 上的实验证明，FlexKBQA 在少样本甚至零样本情景下，只需少量注释即可达到令人印象深刻的结果，超过了所有之前的基准，并且接近于监督模型的性能，相对于完全监督模型性能达到 93%。我们认为 FlexKBQA 在大型和轻量级模型的更好集成方面代表了重要进展。

    Aug, 2023

  • 基於大型語言模型的無人系統知識庫問答的上下文學習

    基于知识库的问答（KBQA）旨在根据知识库来回答事实性问题。本研究针对无人系统中的知识图推理问答的 CCKS2023 竞赛，在 ChatGPT 和 GPT-3 等大型语言模型在许多问答任务中取得的最近成功的启发下，提出了基于 ChatGPT 的 Cypher 查询语言（CQL）生成框架，从给定的自然语言问题中生成最适合的 CQL 查询。我们的生成框架包括六个部分：根据给定的自然语言问题预测 CQL 的语法相关信息的辅助模型，从给定的自然语言问题中提取专有名词的专有名词匹配器，检索输入样例的相似示例的演示示例选择器，设计 ChatGPT 的输入模板的提示构造器，生成 CQL 的 ChatGPT 模型，以及从多样化的输出中获取最终答案的集成模型。凭借我们的基于 ChatGPT 的 CQL 生成框架，我们在 CCKS 2023 无人系统知识图推理问答竞赛中获得第二名，F1-score 为 0.92676。

    Nov, 2023

  • LB-KBQA: 基于大语言模型和 BERT 的知识驱动型问答系统

    基于大型语言模型 (LLM) 和 BERT 的知识库问答系统 (LB-KBQA) 利用生成式人工智能技术能够检测新出现的意图并获取新知识，在金融领域问题回答实验中展示出卓越的有效性。

    Feb, 2024

  • 检索 - 改写 - 回答：一种对知识图谱问题回答增强语言模型的框架

    尽管大型语言模型在知识密集型任务上表现出竞争力，但它们仍存在于记忆所有世界知识，尤其是长尾知识方面的局限性。本文研究了用于解决知识图谱问答任务的知识图增强语言模型方法。基于回答敏感的 KG-to-Text 方法，我们提出了一种将 KG 知识转化为对 KGQA 最有信息量的文本化陈述的方法，并基于此方法提出了一种 KG-to-Text 增强的 LLMs 框架来解决 KGQA 任务。在几个 KGQA 基准测试上的实验证明了所提出的 KG-to-Text 增强 LLMs 方法在回答准确性和知识陈述的有用性方面优于先前的 KG 增强 LLMs 方法。

    Sep, 2023

  • 利用大型语言模型增强企业知识库的问答能力

    通过使用大规模语言模型（LLMs），我们提出了一种名为 EKRG 的新型检索 - 生成框架，以极低的注释成本实现了企业知识库的问答。通过独特的指令调优方法和针对连贯性思维的微调方法，我们的框架在真实世界数据集上进行了广泛实验，并取得了显著的有效性。

    Apr, 2024

  • 基于大型语言模型的时间知识图的两阶段生成式问答

    提出一种新颖的生成式时间知识图问答框架（GenTKGQA），通过两个阶段引导 LLMs 回答时间性问题：子图检索和答案生成。在第一个阶段，利用 LLM 的内在知识来挖掘问题中的时间约束和结构链接，从而缩小子图搜索空间。在第二个阶段，设计虚拟知识指示器将子图的图神经网络信号与 LLM 的文本表示非浅层次地融合，帮助开源 LLM 深入理解检索到的事实中的时间顺序和结构依赖关系。实验结果表明，该模型优于最先进的基准方法，甚至对于简单问题类型的指标达到 100％。

    Feb, 2024

  • 在上下文学习中进行知识库问答的选择

    该研究提出了一种基于 LLMs 的 McL-KBQA 框架，通过基于 ICL 的多选项将 LLMs 的 Few-shot 能力纳入 KBQA 方法，从而提高了 QA 任务的有效性和泛化性能。在两个 KBQA 数据集上的实验结果表明，McL-KBQA 具有竞争性的性能和强大的泛化性能。研究者期望从 LLMs 的角度探索 QA 任务的新方法，并获得规范和正确的答案和强大的泛化性。

    May, 2023

  • 知识库复杂问题回答的调查：最新进展和挑战

    本文介绍了复杂问答（QA）的最新进展，分别从基于信息检索和神经语义解析两个方向出发，提出了未来研究的方向，并介绍了阿里巴巴团队提出的模型。

    Jul, 2020