Jun, 2024

GraphEval2000: 在图数据集上评估和改进大型语言模型

PDF
TL;DR大型语言模型在自然语言处理方面取得了显著的成功，但最近的研究发现它们在处理图形结构数据的推理能力方面存在局限。为了填补这一空白，我们引入了 GraphEval2000，这是第一个包含 40 个图形数据结构问题和 2000 个测试用例的综合性图形数据集。此外，我们引入了基于 GraphEval2000 的评估框架，用于通过编码挑战评估 LLM 的图形推理能力。我们的数据集将测试用例分为四个主要类别和四个次要类别，确保全面评估。我们评估了八个流行的 LLM 在 GraphEval2000 上的表现，发现 LLM 在理解有向图方面比无向图更好。虽然私有 LLM 一直在超越开源模型，但性能差距正在缩小。此外，为了提高我们评估框架的可用性，我们提出了一种基于指令的方法 Structured Symbolic Decomposition（SSD），它旨在提高 LLM 在 GraphEval2000 上的性能。结果显示，SSD 在复杂图形问题上提高了 GPT-3.5、GPT-4 和 GPT-4o 的性能，分别增加了 11.11％、33.37％和 33.37％。
large language modelsgraph reasoninggrapheval2000llm performancestructured symbolic decomposition
发现论文，激发创造
  • 在图上评估大型语言模型：性能洞见与比较分析

    对四个大型语言模型在图数据分析问题上的能力进行评估，结果表明：1）大型语言模型能够有效地理解自然语言的图数据并进行图拓扑推理；2）GPT 模型能够生成逻辑和连贯的结果，在正确性方面优于其他替代方法；3）所有研究中的大型语言模型在结构推理方面面临挑战，零 - shot 推理和少 - shot 提示等技术效果减弱；4）在多答案任务中，GPT 模型常常产生错误答案，引发对可靠性的担忧；5）GPT 模型在输出上表现出较高的自信度，可能影响其纠正错误的能力。值得注意的是，GPT-4 显示了纠正 GPT-3.5-turbo 和其它版本回答的能力。

    Aug, 2023

  • GPT4Graph：大型语言模型是否能理解图形结构数据？实证评估和基准测试

    本文研究了在十个不同的任务中评估大型语言模型在理解图形数据方面的能力，发现目前模型仍存在理解图结构和执行相关推理任务的局限性，需要进一步的研究以加强其图形处理能力。研究结果为搭建语言模型与图形数据理解之间的桥梁提供了宝贵的见解，为更有效的图挖掘和知识提取铺平了道路。

    May, 2023

  • 超越文本：深入研究大型语言模型对理解图数据的能力

    在该研究中，我们通过对大型语言模型在图预测任务的性能进行实验，评估它们是否能有效处理图数据并利用拓扑结构提高性能；通过与专门的图神经网络进行比较，我们对大型语言模型在图分析中的优势和局限性提供了见解，并为将它们应用于图分析提供了进一步的探索方向。

    Oct, 2023

  • LLM4DyG：大型语言模型能否解决动态图问题？

    在本文中，我们通过提出评估大型语言模型在动态图中的时空理解能力的 LLM4DyG 基准，第一次系统地评估了 LLMs 在动态图中的时空信息理解能力，并通过广泛的实验分析了不同的数据生成器、数据统计、提示技术和 LLMs 对模型性能的影响。我们提出了一种名为 Disentangled Spatial-Temporal Thoughts (DST2) 的方法，用于增强 LLMs 在动态图中的时空理解能力。我们的主要观察是：1）LLMs 在动态图中具有初步的时空理解能力，2）随着图大小和密度的增加，动态图任务对 LLMs 的难度增加，但对时间跨度和数据生成机制不敏感，3）我们提出的 DST2 提示方法可以帮助提高 LLMs 在动态图中的时空理解能力。此外，数据和代码将在发布时开源。

    Oct, 2023

  • 图上的大型语言模型：综合调查

    通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾，我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点，并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后，我们提出了这一快速发展领域的潜在未来研究方向。

    Dec, 2023

  • 语言模型是否能够用自然语言解决图问题？

    NLGraph is a benchmark for large language models to solve graph-based problems in natural language, where two instruction-based approaches - Build-a-Graph Prompting and Algorithmic Prompting - are proposed, improving the LLMs' performance by 3.07% to 16.85% across multiple tasks and settings.

    May, 2023

  • 将图形与大型语言模型融合：方法与前景

    大型语言模型与图结构化数据的集成可以通过增强现有图算法和作为预测模型来提升性能，同时结合图结构可以在各种复杂任务中显著改善大型语言模型的表现。

    Oct, 2023

  • GeoEval：几何问题解决中评估 LLM 和多模型的基准

    最近的大型语言模型（LLMs）和多模态模型（MMs）在问题解决方面展示了卓越的能力，但它们在解决需要对文本和图像信息进行综合理解的几何数学问题方面的熟练程度尚未得到深入评估。为了填补这一空白，我们引入了 GeoEval 基准测试，它包括一个主子集、一个重点关注逆向推理的 750 个问题子集、一个增强的 2000 个问题子集和一个困难的 300 个问题子集。这个基准测试有助于更深入地研究 LLMs 和 MMs 在解决几何数学问题方面的性能。我们对这些不同子集中的十个 LLMs 和 MMs 进行评估，发现 WizardMath 模型表现出色，在主子集上的准确率达到 55.67％，但在困难子集上只有 6.00％的准确率。这突显了对模型进行在未经预训练的数据集上测试的重要性。此外，我们的研究结果表明，GPT 系列模型在它们重新表述的问题上表现更有效，这为增强模型能力提供了有希望的方法。

    Feb, 2024

  • GraCoRe：大型语言模型中的图推理与复杂推理基准测试

    本文介绍了 GraCoRe，这是一个用于系统评估 LLMs 的图形理解和推理能力的基准测试，它使用三层分层分类法对纯图形和异构图形进行测试，并通过 19 个任务对 10 个不同能力进行测试，研究发现语义增强提高了推理性能，节点排序影响任务成功，处理更长的文本并不一定提高图形理解或推理能力。

    Jul, 2024

  • 大规模语言模型对图的调查

    通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

    May, 2024