OpenGraph：走向开放图形基础模型
我们提出了 UniGraph 框架，通过使用文本属性图（TAGs）来训练图基础模型，实现对未见过的图和任务在不同领域中的泛化能力。我们的方法采用了级联的语言模型（LMs）和图神经网络（GNNs）构建的骨干网络以及基于掩码图建模（MGM）的自我监督训练目标，并引入大型语言模型（LLMs）进行图指令调优，进而使模型能够进行零样本预测。在各种图学习任务和领域的全面实验证明了我们模型在未见过的图的自我监督表示学习、少样本上下文转移和零样本转移方面的有效性，甚至超越或匹配了在目标数据集上进行受监督训练的 GNNs 的性能。
Feb, 2024
提出了图基础模型（GFMs）的概念，并对其关键特征和技术进行首次全面阐述，然后将现有工作根据其依赖性分为三类，即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述，还讨论了这一发展中领域的潜在研究方向。
Oct, 2023
本文介绍了一种基于图神经网络的强大新方法，用于学习生成模型的过程中捕获图的结构和属性。实验证明，相较于不使用图结构表示的基线，我们的模型常常表现更好，是学习任意图的生成模型的第一个最通用的方法，为从矢量和序列式知识表示的限制中走向更具表现力和灵活性的关系型数据结构开辟了新方向。
Mar, 2018
机器学习与图神经网络，尤其是使用图神经网络（GNN）的机器学习，在各个领域的图数据广泛应用中受到了广泛关注。然而，对于 GNN 的性质仍存在理论上的不完备性。最近的理论进展主要集中于阐明 GNN 的粗粒度表达能力，主要使用组合技巧。然而，这些研究与实践并不完全一致，特别是在理解使用随机一阶优化技术训练时 GNN 的泛化行为方面。在本文中，我们将论证图机器学习社区需要将关注点转向发展一个更加平衡的图机器学习理论，重点研究表达能力、泛化和优化的相互作用。
Feb, 2024
本文研究了图神经网络的可扩展性和推广性，并提出了灵活的 GNNs 框架，通过多种节点更新函数和内部循环优化，使网络能够灵活适应新图并在多项推理任务中提高泛化能力。
Sep, 2022
通过引入 ZeroG，一种新的框架，我们扩展了这种零样本迁移学习范式到图领域，以实现数据集间的泛化，减少特征不对齐、标签空间不匹配和负迁移等固有挑战，并通过使用语言模型对节点属性和类别语义进行编码，以确保数据集间的一致特征维度，并通过基于提示的子图采样模块丰富提取的子图的语义信息和结构信息，进一步采用轻量级微调策略降低过拟合风险，并保持语言模型的零样本学习能力。结果显示我们的模型在实现显著的跨数据集零样本迁移能力方面非常有效，为图基础模型的发展开辟了新的路径。特别地，ZeroG 作为一种零样本方法，甚至能在 Pubmed 上实现可与半监督学习相媲美的结果。
Feb, 2024
本文介绍了一种基于图的个性化模型方法，该方法结合了异构图神经网络（HGNN）和大型语言模型（LLM）来实现多类型物品的个性化推荐，并在一个真实的工业音频流平台上进行了严谨的测试和有效性验证。
Mar, 2024
图基础模型（GFM）是图领域中一个新兴的研究课题，旨在发展一种能够概括不同图和任务的图模型。我们提出了一个新颖的视角 ——“图词汇表”，通过在图中编码基本可转移单元的不变性来建立图词汇表，从而解决在构建 GFM 中遇到的跨结构模式图之间正向传递的关键挑战，这一视角可以潜在地推进未来 GFM 设计遵循神经规模定律。
Feb, 2024
该研究论文提出了一种名为 GraphAny 的基础体系结构，实现了对新图进行构造节点分类的推理，使用线性 GNN 的解析解并学习节点的注意力分数来融合多个线性 GNN 的预测，从而实现对不同图结构的泛化，该方法在归纳方式下，使用仅 120 个标记节点的威斯康辛数据集，可以在 30 个新图上实现平均准确率为 67.26％，超过了在受监督的规则中训练的 GCN 和 GAT 以及其他归纳基线。
May, 2024