Aug, 2023

缩小知识库与文本的差距：利用结构化知识感知的预训练方法用于知识库问答

PDF
TL;DR知识库问答 (KBQA) 旨在使用实体和知识库中的关系等事实性信息回答自然语言问题。为了弥合文本和结构化知识库之间的差距，我们提出了一种结构化知识感知的预训练方法 (SKP)。在下游的 KBQA 任务中，我们设计了一种高效的线性化策略和一个区间式关注机制，分别帮助模型更好地编码复杂的子图并在推理过程中屏蔽无关子图的干扰。通过对 WebQSP 的详细实验和分析，验证了 SKP 的有效性，尤其是在子图检索方面的显著改进 (+4.08% H@10)。
knowledge base question answeringpre-trained language modelsstructured knowledge-aware pre-training methodcomplex subgraphsinterval attention mechanism
发现论文，激发创造
  • 一个为问答任务注入先验知识的课程预训练框架

    本研究提出了一种通用的知识注入课程预训练框架（KICP），用于实现全面的知识图谱学习和知识库问答任务，并在四个真实数据集上评估了该框架的表现。研究结果表明，该框架能够取得更高的性能。

    Mar, 2024

  • SKILL: 大语言模型结构化知识注入

    本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

    May, 2022

  • 灵活结构化的知识驱动问答

    本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

    Sep, 2022

  • 交互式 KBQA：大型语言模型的知识库问答多轮交互

    通过与知识库进行直接交互生成逻辑形式，我们引入了 Interactive-KBQA 框架来解决知识库问答领域的问题，该框架包括三种通用 API 用于知识库交互，通过步骤推理过程注释数据集，展示了我们模型的适应性和潜力，并在低资源场景中以极少的示例达到了优秀的结果。

    Feb, 2024

  • 知识库问答中通用化的二阶段方法

    提出了一种基于 2 阶段架构的 KBQA 框架，该架构明确地将语义解析与知识库交互分离，从而促进数据集和知识图之间的迁移学习，证明了在具有不同基础知识库的数据集上进行预训练可以显著提高性能并降低样本复杂度。

    Nov, 2021

  • FiTs：知识感知问答的精细二阶段训练

    该论文提出了一种 Fine-grained Two-stage training framework (FiTs) 框架用于知识感知问答，通过对齐预训练语言模型和知识图谱中的表示来提高模型的性能。在细节上，研究者通过两个自监督任务对模型进行微调，实验结果表明，这种方法在 CommonsenseQA、OpenbookQA 和 MedQA-USMILE 等三个基准测试中都达到了最优表现。

    Feb, 2023

  • 通过图引导的表示学习利用结构化文本知识

    本研究探讨使用知识图谱为预训练语言模型提供结构化知识的方法，提出并实现了两种利用知识图谱进行自监督训练的任务，并通过掩盖文本中的实体并利用实体关系知识进行训练，通过实验验证了该方法的有效性。

    Apr, 2020

  • FlexKBQA: 一个灵活的 LLM 驱动框架用于少样本知识库问答

    FlexKBQA 是一种利用大型语言模型解决少样本知识库问答任务的方法，通过自动化算法从知识库中生成多样的程序，利用语言模型将其转化为自然语言问题。该方法还引入了执行引导自训练的策略来缓解合成数据和真实用户问题之间的分布差异，并利用大型语言模型的推理能力来增强整个框架。在 GrailQA、WebQSP 和 KQA Pro 上的实验证明，FlexKBQA 在少样本甚至零样本情景下，只需少量注释即可达到令人印象深刻的结果，超过了所有之前的基准，并且接近于监督模型的性能，相对于完全监督模型性能达到 93%。我们认为 FlexKBQA 在大型和轻量级模型的更好集成方面代表了重要进展。

    Aug, 2023

  • 知识库复杂问题回答的调查：最新进展和挑战

    本文介绍了复杂问答（QA）的最新进展，分别从基于信息检索和神经语义解析两个方向出发，提出了未来研究的方向，并介绍了阿里巴巴团队提出的模型。

    Jul, 2020

  • 统一结构推理和语言模型预训练，用于复杂推理

    本文提出通过结构化的推理和语言模型预训练来模拟上下文中的结构化知识，并对复杂理解和知识图谱推理任务进行了实验，表明这种方法可以有效提高语言和知识图谱模式的复杂推理能力。

    Jan, 2023