本文提出了一种针对图数据集的预训练策略和自监督方法,通过在节点和整个图级别上预训练表达力强的 GNN,以便 GNN 可以同时学习有用的局部和全局表示,并在多个图分类数据集上进行系统研究,发现我们的策略可避免负面转移并显着提高下游任务的泛化性能,最终达到了在分子性质预测和蛋白质功能预测方面的最先进性能。
May, 2019
本研究旨在解决预训练图神经网络和下游图数据之间结构差异的问题,提出了 G-Tuning 方法,通过调整预训练 GNN 来保留下游图的生成模式,有效改善了领域内和领域外的迁移学习实验结果。
Dec, 2023
该研究提出了基于自监督任务的图神经网络(GNN)的迁移学习新范式,其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来,通过元学习来学习辅助任务的权重,对于多任务学习,预训练和微调均表现出色。
Jul, 2021
本文介绍了一种名为 GPT-GNN 的框架,用于解决 Graph Neural Networks 训练问题,通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型,然后将其传输到 Downstream Tasks 中,从而显著提高了性能。
Jun, 2020
本文提出一种预训练框架,使用合成图纹理来获取通用图结构信息,提高了已训练模型在不同下游任务上的性能。
使用图神经网络的可解释微调策略对基于网格的流体动力学建模进行研究,以提高其可预测性和解释性,并通过正则化过程识别与预测错误相关的图节点。
Nov, 2023
为了解决图神经网络的高计算成本和高人力成本问题,本研究提出了一种图条件潜在扩散框架(GNN-Diff),通过从粗略搜索中学习保存的检查点直接生成高性能的图神经网络,不需进行复杂的调参和搜索空间设计,比传统的扩散框架在生成高质量的图神经网络方面具有更好的表现。
May, 2024
本文提出了一种名为 SGL-PT 的新框架,其中采用 “预训练、提示和预测” 的学习策略,通过采用有生成和对比自监导的结构图(SGL)和基于口头指导的方式,将预训练和微调统一到了一起,从而在图分类任务方面取得了较好的成果。
Feb, 2023
我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力,通过发展面向图结构知识的大型语言模型(LLMs),并利用图指示调整范式来与图结构知识建立联系,探索自我监督的图结构信号和任务特定的图指示,从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估,展示了优越的泛化能力,并超过了最先进的基准模型。
Oct, 2023
本文提出了一种图结构学习方法 —— 图结构精炼方法 (GSR),采用预训练 - 微调管道,通过多视角对比学习和概率估计相结合的方式,提高了图神经网络 (GNN) 的效能和扩展性。
Nov, 2022