LB-KBQA: 基于大语言模型和BERT的知识驱动型问答系统
本文研究在知识库问答（KBQA）中，为了增强模型的泛化能力，建议模型应具有三个内置泛化层面：i.i.d、组合和零样本，并提出一种新颖的基于BERT的KBQA模型，此外构建和发布一个高质量的数据集GrailQA，为三个泛化层面提供评估设置。实验证明，预训练的上下文嵌入（如BERT）在KBQA的泛化中起着重要的作用。
Nov, 2020
本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。
Mar, 2023
该研究提出了一种基于LLMs的McL-KBQA框架，通过基于ICL的多选项将LLMs的Few-shot能力纳入KBQA方法，从而提高了QA任务的有效性和泛化性能。在两个KBQA数据集上的实验结果表明，McL-KBQA具有竞争性的性能和强大的泛化性能。研究者期望从LLMs的角度探索QA任务的新方法，并获得规范和正确的答案和强大的泛化性。
May, 2023
通过在大型语言模型中使用代码风格的上下文学习方法，从而解决了知识基础问题回答中逻辑格式错误的问题，并在少样本设置下实现了WebQSP、GrailQA和GraphQ等主流数据集上的最新技术水平。
Sep, 2023
利用大型语言模型构建生成-检索知识库问答(ChatKBQA)框架，在知识检索和语义解析两个研究组件方面面临三个核心挑战，即低效的知识检索、检索错误对语义解析的不利影响以及以往KBQA方法的复杂性。该框架通过首先使用已经微调的大型语言模型生成逻辑形式，然后通过无监督的检索方法检索并替换实体和关系，从而更直接地改善了生成和检索。实验结果表明，ChatKBQA在标准KBQA数据集WebQSP和ComplexWebQuestions(CWQ)上取得了最新的最佳性能。这项工作还为将大型语言模型与知识图谱(KG)相结合提供了新的范例，以实现可解释性和知识需求的问答。
Oct, 2023
使用大型语言模型，该研究论文介绍了一种学术知识图谱问答（KGQA）系统，通过少量示例解决书目自然语言问题。模型使用基于BERT的句子编码器来识别与给定测试问题相关的前n个相似训练问题，并检索它们对应的SPARQL查询。利用前n个相似问题-SPARQL对作为示例以及测试问题创建提示，并将其传递给大型语言模型以生成SPARQL查询。最后，在底层知识图谱（Open Research KG）端点上运行SPARQL查询并返回答案。该系统在Scholarly-QALD-23挑战基准中的SciQA数据集上获得了99.0%的F1分数。
Nov, 2023
通过与知识库进行直接交互生成逻辑形式，我们引入了Interactive-KBQA框架来解决知识库问答领域的问题，该框架包括三种通用API用于知识库交互，通过步骤推理过程注释数据集，展示了我们模型的适应性和潜力，并在低资源场景中以极少的示例达到了优秀的结果。
Feb, 2024
使用英文小说构建的NovelQA评估长上下文具有深层文本理解能力的LLMs的表现，结果强调了LLMs在多次推理、注重细节的问题和超过100,000个标记的极长输入方面面临的挑战，强调了进一步改进LLMs以提高其长上下文理解和计算文学研究的必要性。
Mar, 2024
大型语言模型在各种自然语言处理任务中表现出色，但在处理需要广泛、现实世界知识的任务，特别是那些涉及长尾实体的任务时，仍然存在困难。为了解决这个问题，本研究分析了不同类型的非参数化知识对语言模型的影响，其中包括文本片段和知识图谱。通过创建一个需要长尾事实知识来回答问题的基准测试工具，我们评估了最先进的语言模型在不同知识环境下的表现。实验结果表明，单独使用语言模型来回答这些问题存在困难，特别是在需要大量长尾知识或丰富知识的情况下。然而，当为语言模型提供非参数化知识时，这些模型的性能显著提高。我们观察到，在大多数情况下，使用知识图谱三元组作为提示的语言模型表现优于使用最先进的检索器的段落提示。此外，虽然同时为语言模型提供知识图谱三元组和文档并不能始终改善知识覆盖率，但可以显著减少生成内容中的幻觉。
May, 2024