一个为问答任务注入先验知识的课程预训练框架
知识库问答 (KBQA) 旨在使用实体和知识库中的关系等事实性信息回答自然语言问题。为了弥合文本和结构化知识库之间的差距，我们提出了一种结构化知识感知的预训练方法 (SKP)。在下游的 KBQA 任务中，我们设计了一种高效的线性化策略和一个区间式关注机制，分别帮助模型更好地编码复杂的子图并在推理过程中屏蔽无关子图的干扰。通过对 WebQSP 的详细实验和分析，验证了 SKP 的有效性，尤其是在子图检索方面的显著改进 (+4.08% H@10)。
Aug, 2023
通过与知识库进行直接交互生成逻辑形式，我们引入了 Interactive-KBQA 框架来解决知识库问答领域的问题，该框架包括三种通用 API 用于知识库交互，通过步骤推理过程注释数据集，展示了我们模型的适应性和潜力，并在低资源场景中以极少的示例达到了优秀的结果。
Feb, 2024
FlexKBQA 是一种利用大型语言模型解决少样本知识库问答任务的方法，通过自动化算法从知识库中生成多样的程序，利用语言模型将其转化为自然语言问题。该方法还引入了执行引导自训练的策略来缓解合成数据和真实用户问题之间的分布差异，并利用大型语言模型的推理能力来增强整个框架。在 GrailQA、WebQSP 和 KQA Pro 上的实验证明，FlexKBQA 在少样本甚至零样本情景下，只需少量注释即可达到令人印象深刻的结果，超过了所有之前的基准，并且接近于监督模型的性能，相对于完全监督模型性能达到 93%。我们认为 FlexKBQA 在大型和轻量级模型的更好集成方面代表了重要进展。
Aug, 2023
利用大型语言模型构建生成 - 检索知识库问答 (ChatKBQA) 框架，在知识检索和语义解析两个研究组件方面面临三个核心挑战，即低效的知识检索、检索错误对语义解析的不利影响以及以往 KBQA 方法的复杂性。该框架通过首先使用已经微调的大型语言模型生成逻辑形式，然后通过无监督的检索方法检索并替换实体和关系，从而更直接地改善了生成和检索。实验结果表明，ChatKBQA 在标准 KBQA 数据集 WebQSP 和 ComplexWebQuestions (CWQ) 上取得了最新的最佳性能。这项工作还为将大型语言模型与知识图谱 (KG) 相结合提供了新的范例，以实现可解释性和知识需求的问答。
Oct, 2023
基于知识库的问答（KBQA）旨在根据知识库来回答事实性问题。本研究针对无人系统中的知识图推理问答的 CCKS2023 竞赛，在 ChatGPT 和 GPT-3 等大型语言模型在许多问答任务中取得的最近成功的启发下，提出了基于 ChatGPT 的 Cypher 查询语言（CQL）生成框架，从给定的自然语言问题中生成最适合的 CQL 查询。我们的生成框架包括六个部分：根据给定的自然语言问题预测 CQL 的语法相关信息的辅助模型，从给定的自然语言问题中提取专有名词的专有名词匹配器，检索输入样例的相似示例的演示示例选择器，设计 ChatGPT 的输入模板的提示构造器，生成 CQL 的 ChatGPT 模型，以及从多样化的输出中获取最终答案的集成模型。凭借我们的基于 ChatGPT 的 CQL 生成框架，我们在 CCKS 2023 无人系统知识图推理问答竞赛中获得第二名，F1-score 为 0.92676。
Nov, 2023
该论文提出了一种 Fine-grained Two-stage training framework (FiTs) 框架用于知识感知问答，通过对齐预训练语言模型和知识图谱中的表示来提高模型的性能。在细节上，研究者通过两个自监督任务对模型进行微调，实验结果表明，这种方法在 CommonsenseQA、OpenbookQA 和 MedQA-USMILE 等三个基准测试中都达到了最优表现。
Feb, 2023
该研究提出了一种基于 LLMs 的 McL-KBQA 框架，通过基于 ICL 的多选项将 LLMs 的 Few-shot 能力纳入 KBQA 方法，从而提高了 QA 任务的有效性和泛化性能。在两个 KBQA 数据集上的实验结果表明，McL-KBQA 具有竞争性的性能和强大的泛化性能。研究者期望从 LLMs 的角度探索 QA 任务的新方法，并获得规范和正确的答案和强大的泛化性。
May, 2023
本文研究了将通用知识库中的知识注入视觉 - 语言模型中，并通过辅助训练目标增加了语义和关系知识的表征，实现了对问题回答、视觉推理等任务中的性能提升，这种技术不依赖于特定的模型，具有较小的计算开销。
Jan, 2021