Aug, 2023

在图上评估大型语言模型：性能洞见与比较分析

PDF
TL;DR对四个大型语言模型在图数据分析问题上的能力进行评估，结果表明：1）大型语言模型能够有效地理解自然语言的图数据并进行图拓扑推理；2）GPT 模型能够生成逻辑和连贯的结果，在正确性方面优于其他替代方法；3）所有研究中的大型语言模型在结构推理方面面临挑战，零 - shot 推理和少 - shot 提示等技术效果减弱；4）在多答案任务中，GPT 模型常常产生错误答案，引发对可靠性的担忧；5）GPT 模型在输出上表现出较高的自信度，可能影响其纠正错误的能力。值得注意的是，GPT-4 显示了纠正 GPT-3.5-turbo 和其它版本回答的能力。
large language modelsgraph datacomprehensioncorrectnessrectification
发现论文，激发创造
  • GPT4Graph：大型语言模型是否能理解图形结构数据？实证评估和基准测试

    本文研究了在十个不同的任务中评估大型语言模型在理解图形数据方面的能力，发现目前模型仍存在理解图结构和执行相关推理任务的局限性，需要进一步的研究以加强其图形处理能力。研究结果为搭建语言模型与图形数据理解之间的桥梁提供了宝贵的见解，为更有效的图挖掘和知识提取铺平了道路。

    May, 2023

  • 图上的大型语言模型：综合调查

    通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾，我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点，并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后，我们提出了这一快速发展领域的潜在未来研究方向。

    Dec, 2023

  • 超越文本：深入研究大型语言模型对理解图数据的能力

    在该研究中，我们通过对大型语言模型在图预测任务的性能进行实验，评估它们是否能有效处理图数据并利用拓扑结构提高性能；通过与专门的图神经网络进行比较，我们对大型语言模型在图分析中的优势和局限性提供了见解，并为将它们应用于图分析提供了进一步的探索方向。

    Oct, 2023

  • 图生成中大型语言模型的潜力探索

    本文介绍了 LLM4GraphGen 模型，通过系统性任务设计和广泛的实验探索了大型语言模型在图生成方面的能力，并表明 GPT-4 在图生成任务中展现了初步能力，包括基于规则和分布的生成，同时发现流行的提示方法并不一致地提升性能。此外，LLM 在生成具有特定属性的分子方面展现了潜力，这些发现为基于 LLMs 的图生成模型的设计提供了基础，并提供了有价值的见解和进一步的研究方向。

    Mar, 2024

  • 将图形与大型语言模型融合：方法与前景

    大型语言模型与图结构化数据的集成可以通过增强现有图算法和作为预测模型来提升性能，同时结合图结构可以在各种复杂任务中显著改善大型语言模型的表现。

    Oct, 2023

  • 大规模语言模型对图的调查

    通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

    May, 2024

  • 语言模型是否能够用自然语言解决图问题？

    NLGraph is a benchmark for large language models to solve graph-based problems in natural language, where two instruction-based approaches - Build-a-Graph Prompting and Algorithmic Prompting - are proposed, improving the LLMs' performance by 3.07% to 16.85% across multiple tasks and settings.

    May, 2023

  • GraphEval2000: 在图数据集上评估和改进大型语言模型

    大型语言模型在自然语言处理方面取得了显著的成功，但最近的研究发现它们在处理图形结构数据的推理能力方面存在局限。为了填补这一空白，我们引入了 GraphEval2000，这是第一个包含 40 个图形数据结构问题和 2000 个测试用例的综合性图形数据集。此外，我们引入了基于 GraphEval2000 的评估框架，用于通过编码挑战评估 LLM 的图形推理能力。我们的数据集将测试用例分为四个主要类别和四个次要类别，确保全面评估。我们评估了八个流行的 LLM 在 GraphEval2000 上的表现，发现 LLM 在理解有向图方面比无向图更好。虽然私有 LLM 一直在超越开源模型，但性能差距正在缩小。此外，为了提高我们评估框架的可用性，我们提出了一种基于指令的方法 Structured Symbolic Decomposition（SSD），它旨在提高 LLM 在 GraphEval2000 上的性能。结果显示，SSD 在复杂图形问题上提高了 GPT-3.5、GPT-4 和 GPT-4o 的性能，分别增加了 11.11％、33.37％和 33.37％。

    Jun, 2024

  • 图结合大型语言模型的综述：现状与未来方向

    在本调查中，我们首先提出了一种新的分类法，该分类法将现有方法根据 LLMs 在图相关任务中所扮演的角色（增强器、预测器和对齐组件）分为三类，并对这三类中的代表性方法进行了系统调查。我们还讨论了现有研究的局限性，并强调了未来研究的有希望的方向。

    Nov, 2023

  • 生成图分析的大型语言模型综述：查询、学习和应用

    通过研究大型语言模型在图数据上的应用，整理了现有研究中采用高级语言模型解决的图分析问题，并指出了现存挑战和未来研究方向。

    Apr, 2024