Nov, 2023

更好的更少：关于预训练图神经网络的数据主动观点

PDF
TL;DR我们提出了一种数据主动的图预训练（APT）框架，通过选择最具代表性和指导性的数据点来增强预训练，该框架包括图选择器和预训练模型，并通过两者的整合和交互以渐进迭代的方式进行图预训练，结果表明该方法能够通过较少的训练数据获得高效的预训练模型和更好的下游性能。
发现论文，激发创造
  • GPT-GNN：图神经网络的生成预训练

    本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

    Jun, 2020

  • 预训练图神经网络的策略

    本文提出了一种针对图数据集的预训练策略和自监督方法，通过在节点和整个图级别上预训练表达力强的 GNN，以便 GNN 可以同时学习有用的局部和全局表示，并在多个图分类数据集上进行系统研究，发现我们的策略可避免负面转移并显着提高下游任务的泛化性能，最终达到了在分子性质预测和蛋白质功能预测方面的最先进性能。

    May, 2019

  • 预训练图神经网络用于通用结构特征提取

    本文提出一种预训练框架，使用合成图纹理来获取通用图结构信息，提高了已训练模型在不同下游任务上的性能。

    May, 2019

  • 基于图神经网络的自适应迁移学习

    该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。

    Jul, 2021

  • 文本属性图上的纯 Transformer 预训练框架

    图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

    Jun, 2024

  • 基于图策略网络的图可迁移主动学习

    通过强化学习训练一种基于图神经网络 (GNN) 的策略网络，来学习如何高效地标注图中的节点，以减少 GNN 训练的标注成本。该研究还证明了所学习的策略网络在同一领域和不同领域的图之间进行迁移学习的有效性。

    Jun, 2020

  • HetGPT: 利用预训练异构图神经网络的提示调节能力

    提出了 HetGPT，一种通用的后训练提示框架，用于改善预训练的异构图神经网络（HGNNs）的预测性能，并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了 HetGPT 在半监督节点分类方面改进了最先进的 HGNNs 的性能。

    Oct, 2023

  • 预训练图神经网络用于少样本智能模拟电路建模和设计

    本文介绍了一种用于电路设计的监督式预训练方法，利用神经网络（NN）和图神经网络（GNN），以预测输出等效电路的直流电压，提升了新电路结构或未见过的预测任务的可适应性和样本效率。

    Mar, 2022

  • PTGB：面向脑网络分析的预训练图神经网络

    本研究提出了一种针对大规模脑网络数据的 GNN 预训练框架 PTGB，能在没有特定任务标签的情况下学习脑网络的内在结构，并易于适应各种下游任务，从而实现对脑网络结构复杂性的自适应处理及临床神经疾病诊断的快速准确。

    May, 2023

  • 预训练与学习：为图神经网络保留全局信息

    该论文提出了一种名为 G-GNNs 的新型模型，通过无监督预训练获取节点的全局结构和属性特征，然后利用这些特征和原始网络属性，提出了一种 GNN 的并行框架以从这些特征中学习不同的方面。该模型的学习方法可应用于平面图和属性图，并通过 extensive experiments 在三个标准评估图上表现优异，特别地，在属性图学习方面，G-GNNs 在 Cora (84.31%) 和 Pubmed (80.95%) 上建立了新的基准记录。

    Oct, 2019