Jun, 2024

通过词汇将 Dr.E 桥接大型语言模型的图表

PDF
TL;DR我们介绍了一个创新的、端到端的模态对齐框架，配备了一个预训练的 Dual-Residual Vector Quantized-Variational AutoEncoder (Dr.E)。该框架专门设计用于促进与 LLMs 的令牌级对齐，实现了将图的内在 ' 语言 ' 转化为可理解的自然语言。我们在标准的 GNN 节点分类任务上进行了实验证明，与其他最先进的方法相比，我们的框架具有竞争力的性能。此外，我们的框架确保了可解释性、效率和鲁棒性，并在微调和少样本设置下进一步验证了其有效性。这项研究标志着首次成功实现了 GNNs 和 LLMs 之间的令牌级对齐。
large language modelsmultimodal fusiongraph-structured datamodality-aligning frameworktoken-level alignment
发现论文，激发创造
  • 大规模语言模型对图的调查

    通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

    May, 2024

  • 语言和图神经网络模型的高效有效训练

    本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

    Jun, 2022

  • DocGraphLM: 信息提取的文档图谱语言模型

    该研究论文介绍了一种名为 DocGraphLM 的新型框架，它结合了预训练语言模型和图形语义，通过使用联合编码器架构来表示文档，并采用一种新颖的链接预测方法来重构文档图。DocGraphLM 通过采用图形特征，在信息提取和问答任务中持续改善了目标性能，并且提供了在训练过程中加速收敛的优点。

    Jan, 2024

  • 将图形与大型语言模型融合：方法与前景

    大型语言模型与图结构化数据的集成可以通过增强现有图算法和作为预测模型来提升性能，同时结合图结构可以在各种复杂任务中显著改善大型语言模型的表现。

    Oct, 2023

  • 图形语言模型

    图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

    Jan, 2024

  • 大型语言模型时代的图机器学习

    在 LLMs 时代，通过综述文章，我们首先回顾了图机器学习的最新发展，然后探讨了 LLMs 如何提高图特征的质量，减少对标记数据的依赖，并解决图的异质性和分布外泛化等挑战。此外，我们研究了图如何增强 LLMs，并突出它们在 LLMs 的预训练和推理中的能力。最后，我们探讨了这个有前景的领域的各种应用和潜在的未来方向。

    Apr, 2024

  • 用于图指导调优的联合嵌入

    该论文研究了将图模态集成到大型语言模型中，以提升其在图解指令任务中的性能表现，并通过图嵌入训练模型，使其能够理解和基于图表示生成回答。该方法在性能上显著优于图文方法，并且对于较大的图结构保持一致。

    May, 2024

  • 探索大型语言模型在图学习中的潜力

    本文旨在探索使用大型语言模型（LLMs）进行图机器学习的潜力，特别是节点分类任务，并调查两种潜在的流程：LLMs 作为增强器和 LLMs 作为预测器。通过全面而系统的研究，我们获得了原创性观察并发现新的见解，为利用 LLMs 进行图学习提供了新的可能性和有希望的方向。

    Jul, 2023

  • 图结合大型语言模型的综述：现状与未来方向

    在本调查中，我们首先提出了一种新的分类法，该分类法将现有方法根据 LLMs 在图相关任务中所扮演的角色（增强器、预测器和对齐组件）分为三类，并对这三类中的代表性方法进行了系统调查。我们还讨论了现有研究的局限性，并强调了未来研究的有希望的方向。

    Nov, 2023

  • 利用大型语言模型强化文本属性图学习

    通过采用轻量级范式 ENG 以 Large Language Models 为基础，增强文本属性的图数据，包括通过节点生成使用 LLMs 提取语义信息和生成样本，以及通过边缘预测器将新生成的样本与原始图结合，从而在少样本情况下促进节点分类任务。

    Oct, 2023