Jun, 2024

文本空间图基础模型：全面的基准测试和新洞察

PDF
TL;DR建立一个可以在不同图和任务中很好工作的图基础模型（GFM），通过统一的骨干结构近期引起了广泛关注。尽管文本空间的 GFM 存在巨大潜力，但目前的研究面临两个问题：缺乏统一问题设置的综合基准，以及缺乏足够的数据集来全面探索方法的潜力。为了解决这些问题，我们进行了综合基准的研究，并提供了新的文本空间数据集和全面的评估。实证结果提供了新的见解，并启发了未来的研究方向。
graph foundation modelunified backbonemulti-modal modelstext-space gfmscomprehensive benchmark
发现论文，激发创造
  • 图基础模型

    图基础模型（GFM）是图领域中一个新兴的研究课题，旨在发展一种能够概括不同图和任务的图模型。我们提出了一个新颖的视角 ——“图词汇表”，通过在图中编码基本可转移单元的不变性来建立图词汇表，从而解决在构建 GFM 中遇到的跨结构模式图之间正向传递的关键挑战，这一视角可以潜在地推进未来 GFM 设计遵循神经规模定律。

    Feb, 2024

  • GraphFM：图基模型的全面基准测试

    基于自主学习的图神经网络模型的广义化和可扩展性进行了全面分析和研究，通过生成节点表示，在节点分类、链接预测和节点聚类等任务上实现了各种自主学习图神经网络模型的性能比较，并比较了全批次和小批次训练策略后各个模型的性能，同时评估了这些模型的训练效率。

    Jun, 2024

  • 走向图基础模型：调研与展望

    提出了图基础模型（GFMs）的概念，并对其关键特征和技术进行首次全面阐述，然后将现有工作根据其依赖性分为三类，即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述，还讨论了这一发展中领域的潜在研究方向。

    Oct, 2023

  • 面向个性化的图基础模型

    本文介绍了一种基于图的个性化模型方法，该方法结合了异构图神经网络（HGNN）和大型语言模型（LLM）来实现多类型物品的个性化推荐，并在一个真实的工业音频流平台上进行了严谨的测试和有效性验证。

    Mar, 2024

  • GenBench: 用于对基因组基础模型进行系统评估的基准套件

    通过引入 GenBench，我们为评估 Genomic Foundation Models 的功效提供了一个全面的基准测试套件，该套件特别针对包括编码区域、非编码区域、基因组结构等在内的三个最重要的 DNA 任务。我们的研究结果揭示了一个有趣的观察结果：无论参数数量如何，注意力模型和卷积模型在短程和长程任务上的偏好存在显著差异，这可以为未来的 GFM 设计提供启示。

    Jun, 2024

  • 图文融合：图推理在文本空间中

    通过一种新的框架 GraphText，将图形转化为自然语言，无需图数据训练，能够实现与监督训练图神经网络相媲美甚至超越其性能的图推理，同时为人类和大型语言模型提供了与模型无缝交流的方式，突显了大型语言模型在图机器学习领域尚未探索的巨大潜力。

    Oct, 2023

  • 无文本多域图形预训练：走向图形基础模型

    MDGPT 是一个用于图学习的多领域图预训练和适应性框架，通过多领域知识的利用来解决不同领域的图数据对齐和适应的问题，并在多个公开数据集上进行了实验验证，超越了先前的研究成果 37.9%。

    May, 2024

  • 图形语言模型

    图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

    Jan, 2024

  • 用于基准测试图神经网络的图生成模型

    提出了一种名为 Computation Graph Transformer（CGT）的图形生成模型，它可以在保证隐私的前提下，生成大规模真实世界图的有效基准图，用于作为 Graph Neural Networks 模型的基准测试。

    Jul, 2022

  • 使用数据核心比较基础模型

    本文提出了一种不需要度量的基于嵌入空间几何的方法来比较基础模型，并展示了该框架如何用于诱导一组带有距离函数的模型流型，其与多个下游度量强相关。

    May, 2023