Feb, 2024

StructLM: 构建用于结构化知识建模的通用模型

PDF
TL;DR结构化数据是普遍的知识源，大型语言模型在处理结构化数据方面存在显著不足，为了增加语言模型中的结构化知识落地能力，研究人员开发了一种全面的指导调整数据集，并利用此数据集训练了一系列基于 Code-LLaMA 架构的模型，横跨 7B 到 34B 参数范围。这些模型在 18 个评估数据集中有 14 个超越了任务专用模型，并在 7 个结构化知识落地任务中取得了新的最佳成果。此外，这些模型在 6 个新的结构化知识落地任务上表现出出色的泛化能力。然而，我们观察到模型规模的扩大只能带来些微的改进，这表明结构化知识落地仍然是一个具有挑战性的任务，需要更多创新的设计突破新的领域。
structured dataknowledge sourceslarge language modelsstructured knowledge groundinginstruction tuning dataset
发现论文，激发创造
  • SKILL: 大语言模型结构化知识注入

    本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

    May, 2022

  • 灵活结构化的知识驱动问答

    本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

    Sep, 2022

  • UnifiedSKG: 结构化知识接地的统一和多任务处理与文本到文本语言模型

    提出了统一的结构化知识封装（UnifiedSKG）框架，将 21 个结构化知识封装任务统一成一种文本 - 文本格式，以促进系统结构化知识封装研究。利用该框架对 T5 进行基准测试，证明其在几乎所有 21 个任务中都达到了最先进的性能水平，并进一步展示了多任务前缀调整如何提高大多数任务的性能。 UnifiedSKG 还促进了对零样本和少样本学习的研究，并表明 T0、GPT-3 和 Codex 在零样本和少样本学习方面具有困难。

    Jan, 2022

  • 利用参数化知识引导增强的大型语言模型

    本论文提出了 Parametric Knowledge Guiding（PKG）框架，使 LLMs 具有在运行时访问相关知识的能力，从而在适应长尾或特定领域任务方面提高性能，并同时考虑了透明度和数据隐私的问题。

    May, 2023

  • Struc-Bench：大型语言模型在生成复杂结构化数据方面真的很强吗？

    评估了当前的大型语言模型在生成复杂结构化数据方面的能力，提出了一种结构感知微调方法来改善这种能力，并基于评估结果构建了模型能力图谱，揭示了大型语言模型在处理复杂结构化输出方面的弱点和未来工作的方向。

    Sep, 2023

  • 结构化知识库在大型语言模型中优化元数据整理的应用

    通过对 200 个描述肺癌人样本的 NCBI BioSample 数据记录进行实验，评估 GPT-4 对于符合元数据标准的建议编辑能力，并通过同行评审过程计算了字段名 - 字段值对的符合精确度，发现辅助 GPT-4 以 CEDAR 模板的文本描述作为领域信息，从 79% 提高到 97%（p<0.01），结果表明 LLMs 与结构化知识库整合后，可以在自动化元数据管理中显示出希望。

    Apr, 2024

  • HOLMES: 基于超关系的知识图谱用于多跳问答的 LLMs

    利用压缩的知识图作为输入，我们的方法在使用较少标记表示支持文档中与查询相关信息方面比现有方法利用高达 67% 的标记。我们的实验证明，在两个流行的基准数据集（HotpotQA 和 MuSiQue）上，我们的方法在多个指标（EM，F1，BERTScore 和人类评估）上持续改进。

    Jun, 2024

  • KG-GPT: 使用大型语言模型进行知识图谱推理的通用框架

    KG-GPT 是一个多功能框架，利用大型语言模型（LLMs）进行知识图谱（KGs）相关任务的复杂推理，将句子分割、检索相关图谱组件和推导逻辑结论分为三个步骤。我们通过使用基于 KG 的事实验证和 KGQA 基准来评估 KG-GPT，发现该模型表现出竞争力和稳健性，甚至胜过几个完全监督的模型。因此，我们的工作在统一 LLMs 的结构化和非结构化数据处理方面迈出了重要的一步。

    Oct, 2023

  • 统一大型语言模型和知识图谱：路线图

    本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

    Jun, 2023

  • 结构引导的大型语言模型用于 SQL 生成

    利用用户查询和数据库的结构信息改进结构化 SQL 的生成问题，提出了一种结构引导的 SQL（SGU-SQL）生成模型，并通过实验验证其优于 16 种 SQL 生成方法。

    Feb, 2024