GraphTranslator:将图模型对齐到大型语言模型用于开放式任务
我们提出了 InstructGLM(指导调整的图语言模型),基于自然语言说明系统地设计高度可扩展的提示,使用自然语言描述图的几何结构和节点特征,通过指导调优语言模型以一种生成方式在图上执行学习和推理,超过了所有竞争的 GNN 基准数据集,证明了我们方法的有效性,并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。
Aug, 2023
通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾,我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点,并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后,我们提出了这一快速发展领域的潜在未来研究方向。
Dec, 2023
本文介绍了 LLM4GraphGen 模型,通过系统性任务设计和广泛的实验探索了大型语言模型在图生成方面的能力,并表明 GPT-4 在图生成任务中展现了初步能力,包括基于规则和分布的生成,同时发现流行的提示方法并不一致地提升性能。此外,LLM 在生成具有特定属性的分子方面展现了潜力,这些发现为基于 LLMs 的图生成模型的设计提供了基础,并提供了有价值的见解和进一步的研究方向。
Mar, 2024
通过一种新的框架 GraphText,将图形转化为自然语言,无需图数据训练,能够实现与监督训练图神经网络相媲美甚至超越其性能的图推理,同时为人类和大型语言模型提供了与模型无缝交流的方式,突显了大型语言模型在图机器学习领域尚未探索的巨大潜力。
Oct, 2023
在本调查中,我们首先提出了一种新的分类法,该分类法将现有方法根据 LLMs 在图相关任务中所扮演的角色(增强器、预测器和对齐组件)分为三类,并对这三类中的代表性方法进行了系统调查。我们还讨论了现有研究的局限性,并强调了未来研究的有希望的方向。
Nov, 2023
本文探讨了生成模型在零样本情况下从图数据生成描述性文本的能力,并与微调后的语言模型进行了比较,在两个图到文本数据集上评估了 GPT-3 和 ChatGPT 的性能。结果表明生成模型能够生成流畅和连贯的文本,AGENDA 和 WebNLG 数据集的 BLEU 分别达到 10.57 和 11.08。然而,我们的错误分析发现生成模型仍然难以理解实体之间的语义关系,并且倾向于生成存在幻觉或无关信息的文本。作为错误分析的一部分,我们使用 BERT 检测机器生成的文本,并实现了较高的宏 F1 得分。我们已公开提供生成模型生成的文本。
Jul, 2023
对四个大型语言模型在图数据分析问题上的能力进行评估,结果表明:1)大型语言模型能够有效地理解自然语言的图数据并进行图拓扑推理;2)GPT 模型能够生成逻辑和连贯的结果,在正确性方面优于其他替代方法;3)所有研究中的大型语言模型在结构推理方面面临挑战,零 - shot 推理和少 - shot 提示等技术效果减弱;4)在多答案任务中,GPT 模型常常产生错误答案,引发对可靠性的担忧;5)GPT 模型在输出上表现出较高的自信度,可能影响其纠正错误的能力。值得注意的是,GPT-4 显示了纠正 GPT-3.5-turbo 和其它版本回答的能力。
Aug, 2023
大型语言模型 (LLMs) 能够解决与知识图谱相关的任务,如知识图谱补全,尤其在零次或少次训练的范式下。然而,它们被称为会产生错误的答案,或以不确定的方式输出结果,从而导致错误推理的回答,即使它们满足用户的需求。为了强调知识图谱相关任务中的机遇和挑战,我们在静态知识图谱的知识图谱补全任务中,使用 TELeR 分类法构建的提示,在零次和一次迭代的上下文中,通过两个显著的 LLMs 进行实验,即 Mixtral-8x7B-Instruct-v0.1 和 gpt-3.5-turbo-0125,在以任务为导向的对话系统使用案例中。当使用严格和灵活的度量标准进行评估时,我们的结果表明,如果提示包含足够的信息和相关示例,LLMs 可能适用于这样的任务。
May, 2024
在该研究中,我们通过对大型语言模型在图预测任务的性能进行实验,评估它们是否能有效处理图数据并利用拓扑结构提高性能;通过与专门的图神经网络进行比较,我们对大型语言模型在图分析中的优势和局限性提供了见解,并为将它们应用于图分析提供了进一步的探索方向。
Oct, 2023