Jul, 2024

GraphFM：一种可扩展的多图预训练框架

HTML
PDF
TL;DR多图多任务预训练方法(GraphFM)通过将特定领域的特征压缩到一个共同的潜空间，并在不同领域的数据上进行扩展，提高了通用模型的泛化能力。通过对152个不同图数据集进行预训练，并根据跨多个领域的数据构建扩展规律，该方法证明了在真实和合成图上进行多图预训练可以显著减轻当前图训练方法的负担，创建一种能在广泛数据集和任务中竞争的单一通用模型。
发现论文，激发创造
  • 图上的机器学习：模型和综合分类

    本文提出一种名为 GRAPHEDM 的综合方法，旨在将有标注数据的网络嵌入、基于图的正则化神经网络和图神经网络三者统一起来，构成一种用于学习图表征的完整分类法。通过将现有的30多种算法整合到这一框架中，本方法具有很高的通用性，从而提供了理解这些方法背后的直觉基础，促进了此领域未来研究的发展。

    May, 2020

  • 混合图: 一种统一的图表示法，用于复杂图的数据集和基准测试

    本文介绍了混合图(即高阶图)的统一定义以及混合图基准测试(HGB)，并提供了可扩展的评估框架和支持代码库以方便在HGB 上训练和评估GNNs；我们的实证研究揭示了各种研究机会和空白。

    Jun, 2023

  • 走向图基础模型：调研与展望

    提出了图基础模型（GFMs）的概念，并对其关键特征和技术进行首次全面阐述，然后将现有工作根据其依赖性分为三类，即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述，还讨论了这一发展中领域的潜在研究方向。

    Oct, 2023

  • 多任务预训练和图上提示的MultiGPrompt

    在本文中，我们提出了MultiGPrompt，一种新颖的多任务预训练和提示框架，用于利用多个预设任务获取更全面的预训练知识，并通过预设和全局提示指导少样本情境下的后续任务。我们进行了六个公共数据集上的大量实验来评估和分析MultiGPrompt。

    Nov, 2023

  • OpenGraph：走向开放图形基础模型

    我们开发了一个通用的图基础模型，通过理解不同基于图的数据中的复杂拓扑模式，使其在不同下游数据集上出色地完成零样本图学习任务。

    Mar, 2024

  • 图基础模型自我监督预训练调研：基于知识的视角

    这篇论文综合了基于图知识的微观和宏观视角，对图基础模型的自我监督预训练任务进行了综述和分析，并包括了9个知识类别和25个预训练任务，以及各种下游任务适应策略。

    Mar, 2024

  • 面向图表示学习的参数高效调优大型语言模型

    针对文本丰富的图表，我们引入了一种新方法——图感知参数高效微调（GPEFT），通过利用图神经网络（GNN）编码邻居节点的结构信息生成图提示，插入到文本序列的开头，从而实现了高效的图表示学习。通过在8个不同的文本丰富的图表上进行全面实验证明了该方法的有效性和高效性，在链接预测评估中平均提升了2%的hit@1和平均倒数排名（MRR），同时表明可以与多种大型语言模型无缝集成，包括OPT、LLaMA和Falcon。

    Apr, 2024

  • 无文本多域图形预训练：走向图形基础模型

    MDGPT是一个用于图学习的多领域图预训练和适应性框架，通过多领域知识的利用来解决不同领域的图数据对齐和适应的问题，并在多个公开数据集上进行了实验验证，超越了先前的研究成果37.9%。

    May, 2024

  • GraphFM：图基模型的全面基准测试

    基于自主学习的图神经网络模型的广义化和可扩展性进行了全面分析和研究，通过生成节点表示，在节点分类、链接预测和节点聚类等任务上实现了各种自主学习图神经网络模型的性能比较，并比较了全批次和小批次训练策略后各个模型的性能，同时评估了这些模型的训练效率。

    Jun, 2024

  • 通过在工业规模数据上进行预训练，实现在不同图和任务之间的图转换器的泛化

    我们提出了一个名为PGT（Pre-trained Graph Transformer）的可扩展的基于Transformer的图预训练框架，能够在工业场景中处理数十亿节点的网页规模图，具有归纳能力，适用于未见过的新节点和新图，并在真实世界的网页规模图上进行了广泛的实验，同时在公共数据集上取得了最先进的性能，具有可伸缩性和效率。

    Jul, 2024