基于逻辑图的语言模型的指令生成规划
我们提出了 InstructGLM(指导调整的图语言模型),基于自然语言说明系统地设计高度可扩展的提示,使用自然语言描述图的几何结构和节点特征,通过指导调优语言模型以一种生成方式在图上执行学习和推理,超过了所有竞争的 GNN 基准数据集,证明了我们方法的有效性,并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。
Aug, 2023
图形语言模型(GLM)集成了线性文本模型(LM)和图神经网络(GNN)的优点,同时减轻它们的弱点,在有监督和零样本情况下,在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。
Jan, 2024
通过一种新的框架 GraphText,将图形转化为自然语言,无需图数据训练,能够实现与监督训练图神经网络相媲美甚至超越其性能的图推理,同时为人类和大型语言模型提供了与模型无缝交流的方式,突显了大型语言模型在图机器学习领域尚未探索的巨大潜力。
Oct, 2023
本文介绍了一种新颖的贝叶斯提示方法,通过使用一个语言大模型(LLMs)中的一个模糊概率图模型(PGM)来实现无需训练的贝叶斯推理。我们的模型在多个组合推理任务中取得了良好的效果,有效提升了置信度的引发和文本生成质量,显示出在模拟不确定性方面提高人工智能语言理解系统的潜力。
Jun, 2024
通过指令调整和偏好对齐,InstructGraph 框架赋予大型语言模型(LLMs)图推理和生成能力。该框架中,我们首先提出了结构化格式化语言器来统一所有图数据,并且引入了图指令调整阶段来指导 LLMs 解决图推理和生成任务。最后,我们针对图任务中的潜在幻觉问题抽取了负例样本以进行偏好对齐,以提高模型输出的可靠性。通过多个图相关任务的广泛实验,InstructGraph 实现了最佳性能,并且超过 GPT-4 和 LLaMA2 分别 13% 和 38% 以上。
Feb, 2024
通过对最新进展的简要回顾,本文试图了解大型语言模型在逻辑推理方面的能力,包括逻辑推理数据集、任务以及利用大型语言模型进行推理的方法。通过构建基准测试集 LogiGLUE,并训练一个经过指令微调的语言模型 LogiT5,研究了单任务训练、多任务训练以及思维链知识蒸馏微调技术在不同逻辑推理类别上的表现,旨在揭示大型语言模型在逻辑推理中的能力和潜在路径,为该关键领域的高级和精细化发展铺平道路。
Oct, 2023
NLGraph is a benchmark for large language models to solve graph-based problems in natural language, where two instruction-based approaches - Build-a-Graph Prompting and Algorithmic Prompting - are proposed, improving the LLMs' performance by 3.07% to 16.85% across multiple tasks and settings.
May, 2023
通过将图学习模型与大型语言模型(LLMs)有机地融合,我们介绍了 GraphLLM,一种能够使 LLMs 能够熟练解释和推理图数据的先导性端到端方法,经过多个基础图推理任务的实证评估,结果展示了平均准确率提高 54.44%以及各种图推理任务中 96.45%的显著上下文减少。
Oct, 2023
我们的论文引入了结构引导提示,这是一个创新的三阶段任务无关提示框架,旨在提高大型语言模型在零样本环境下的多步推理能力。通过将非结构化文本转换为图形,指导模型在图形中导航,并使用任务特定的策略来制定响应,我们的实验表明这一框架显著增强了大型语言模型的推理能力,使其在更广泛的自然语言场景中表现出色。
Feb, 2024