Feb, 2024

UrbanKGent: 城市知识图谱构建的统一大型语言模型代理框架

PDF
TL;DR这篇论文介绍了 UrbanKGent，一个用于城市知识图谱构建的统一大型语言模型代理框架，通过异构感知的指令生成构建了 UrbanKGC 任务的知识指令集，并提出了一个工具增强的迭代轨迹优化模块。通过在 Llama-2-13B 上进行混合指令微调，得到了 UrbanKGC 代理 UrbanKGent-13B。通过实验评估表明，UrbanKGent-13B 在 UrbanKGC 任务中不仅能显著优于 21 个对比方法，还在低成本的情况下超过了当前最先进的 LLM 和 GPT-4 方法。部署 UrbanKGent-13B 提供在线服务，可通过仅使用现有基准的五分之一的数据，构建出具有数千倍以上关系的 UrbanKG。
urban knowledge graphurbankgclarge language model agent frameworkheterogeneity-aware instruction generationiterative trajectory refinement
发现论文，激发创造
  • CityGPT：大型语言模型赋能城市空间认知

    CityGPT 是一种用于增强大型语言模型在理解城市空间和解决相关城市任务方面能力的系统框架，通过在模型中构建城市规模的世界模型，并使用包含城市知识的多样化指令调整数据集 CityInstruction 来进行模型微调，实现对城市空间的理解和空间推理能力的有效增强。

    Jun, 2024

  • KG-Agent: 知识图谱复杂推理的高效自主代理框架

    本研究旨在通过知识图谱改进大型语言模型 (LLM) 的推理能力，以回答复杂问题。我们提出了一种自主的基于 LLM 的智能体框架 KG-Agent，它允许一个小型 LLM 主动作出决策，直到完成对知识图谱的推理过程。在 KG-Agent 中，我们整合了 LLM、多功能工具箱、基于知识图谱的执行器和知识存储器，并开发了一个迭代机制，自主选择工具，然后更新用于对知识图谱进行推理的记忆。为了保证有效性，我们利用程序语言对知识图谱上的多跳推理过程进行了规范，并合成了基于代码的指令数据集，以对基础 LLM 进行微调。大量实验证明，仅使用 10K 个样本对 LLaMA-7B 进行微调就能在领域内外的数据集上超过使用更大的 LLM 或更多数据的现有方法。我们的代码和数据将公开发布。

    Feb, 2024

  • UUKG：面向城市时空预测的统一城市知识图谱数据集

    本文介绍了 UUKG，即用于知识增强的城市时空预测的统一城市知识图谱数据集。通过构建 UrbanKGs 并分析其中的高阶结构模式，文章实现了对城市空间时间预测的知识增强，并展示了知识增强模型与不同任务场景下城市知识图谱嵌入方法的潜在联系，其公开的数据集和源代码可在此 https URL 获取。

    Jun, 2023

  • 知识图谱构建与推理的 LLMs: 最新能力和未来机遇

    本文对大型语言模型在知识图谱构建和推理方面进行了全面的定量和定性评估，结果表明，GPT-4 在大多数任务中表现优异，并在某些推理和问答数据集中甚至超过了微调模型。同时，我们还提出了基于多智能体的 AutoKG 方法，该方法可利用 LLMs 进行知识图谱构建和推理，为该领域的未来发展提供有趣的机遇。

    May, 2023

  • KG-GPT: 使用大型语言模型进行知识图谱推理的通用框架

    KG-GPT 是一个多功能框架，利用大型语言模型（LLMs）进行知识图谱（KGs）相关任务的复杂推理，将句子分割、检索相关图谱组件和推导逻辑结论分为三个步骤。我们通过使用基于 KG 的事实验证和 KGQA 基准来评估 KG-GPT，发现该模型表现出竞争力和稳健性，甚至胜过几个完全监督的模型。因此，我们的工作在统一 LLMs 的结构化和非结构化数据处理方面迈出了重要的一步。

    Oct, 2023

  • KICGPT：具有上下文知识的大型语言模型用于知识图谱推理

    提出了一种整合了大型语言模型和三元组为基础的知识图谱完成方法，名为 KICGPT，通过使用知识提示来解决长尾问题并改进效率，而无需额外的训练和微调。

    Feb, 2024

  • 统一大型语言模型和知识图谱：路线图

    本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

    Jun, 2023

  • Text2KGBench：基于本体驱动的文本知识图谱生成基准

    该研究论文介绍了 Text2KGBench 这个基准评估工具，可以评估语言模型的能力，从自然语言文本中生成知识图谱，并根据本体论从文本中提取事实。研究还提供了基准模型的结果和显示了使用语义网和自然语言处理技术，可以进一步提高模型性能的潜力。

    Aug, 2023

  • GKT：一种面向高效云边协同 LLM 部署的基于导向的知识转移框架

    通过指导式知识迁移，我们引入了一种新颖而直观的框架来加速大型语言模型，在不断提高性能的同时保证了效率和实惠性。该框架能够无需微调，无需教师和学生模型具有相同的词汇，实现广泛的批量生成，且可轻松集成到各种模型中，同时在准确性和处理速度上实现了显著的提升。

    May, 2024

  • 基於大型語言模型的無人系統知識庫問答的上下文學習

    基于知识库的问答（KBQA）旨在根据知识库来回答事实性问题。本研究针对无人系统中的知识图推理问答的 CCKS2023 竞赛，在 ChatGPT 和 GPT-3 等大型语言模型在许多问答任务中取得的最近成功的启发下，提出了基于 ChatGPT 的 Cypher 查询语言（CQL）生成框架，从给定的自然语言问题中生成最适合的 CQL 查询。我们的生成框架包括六个部分：根据给定的自然语言问题预测 CQL 的语法相关信息的辅助模型，从给定的自然语言问题中提取专有名词的专有名词匹配器，检索输入样例的相似示例的演示示例选择器，设计 ChatGPT 的输入模板的提示构造器，生成 CQL 的 ChatGPT 模型，以及从多样化的输出中获取最终答案的集成模型。凭借我们的基于 ChatGPT 的 CQL 生成框架，我们在 CCKS 2023 无人系统知识图推理问答竞赛中获得第二名，F1-score 为 0.92676。

    Nov, 2023