AAAIDec, 2023

通过保留图生成模式来微调图神经网络

PDF
TL;DR本研究旨在解决预训练图神经网络和下游图数据之间结构差异的问题，提出了 G-Tuning 方法，通过调整预训练 GNN 来保留下游图的生成模式，有效改善了领域内和领域外的迁移学习实验结果。
pre-trainingfine-tuninggraph neural networksstructural divergenceg-tuning
发现论文，激发创造
  • 搜索以微调预训练的图神经网络用于图级任务

    我们设计了一个更好的图神经网络预训练模型的微调策略（S2PGNN），该策略旨在提升模型性能，并在实证研究中展示了其在图级任务中的成果和比现有的微调策略更好的表现。

    Aug, 2023

  • 通过图形拓扑导出的最优运输优化微调图神经网络

    本研究提出了一种基于最优传输的微调框架，称为图拓扑诱导的最优传输微调（GTOT-Tuning），用于增强在图学习上预训练模型微调的表示保存性，并证明它在各种图神经网络模型上比现有技术表现更好。

    Mar, 2022

  • 预训练图神经网络的策略

    本文提出了一种针对图数据集的预训练策略和自监督方法，通过在节点和整个图级别上预训练表达力强的 GNN，以便 GNN 可以同时学习有用的局部和全局表示，并在多个图分类数据集上进行系统研究，发现我们的策略可避免负面转移并显着提高下游任务的泛化性能，最终达到了在分子性质预测和蛋白质功能预测方面的最先进性能。

    May, 2019

  • 预训练图神经网络用于通用结构特征提取

    本文提出一种预训练框架，使用合成图纹理来获取通用图结构信息，提高了已训练模型在不同下游任务上的性能。

    May, 2019

  • 图神经网络代理模型的可解释微调

    使用图神经网络的可解释微调策略对基于网格的流体动力学建模进行研究，以提高其可预测性和解释性，并通过正则化过程识别与预测错误相关的图节点。

    Nov, 2023

  • 多视图图对比学习的提示调优

    我们提出了一种多视角图对比学习方法，并为其设计了提示调整方法，以缩小预训练和下游任务之间的差距。

    Oct, 2023

  • SGL-PT: 具有图形提示调整的强大图形学习器

    本文提出了一种名为 SGL-PT 的新框架，其中采用 “预训练、提示和预测” 的学习策略，通过采用有生成和对比自监导的结构图（SGL）和基于口头指导的方式，将预训练和微调统一到了一起，从而在图分类任务方面取得了较好的成果。

    Feb, 2023

  • 基于谱视角的归纳图对齐指令：从图预训练到归纳微调之间的桥梁

    我们提出了一种基于图提示的归纳式图对齐方法（IGAP），通过在谱空间中使用可学习提示来弥合图信号差距和图结构差距，实验证明我们的方法能够成功地在不同设置下弥合数据差距。

    Feb, 2024

  • 解放图神经网络：摆脱繁琐调整

    为了解决图神经网络的高计算成本和高人力成本问题，本研究提出了一种图条件潜在扩散框架（GNN-Diff），通过从粗略搜索中学习保存的检查点直接生成高性能的图神经网络，不需进行复杂的调参和搜索空间设计，比传统的扩散框架在生成高质量的图神经网络方面具有更好的表现。

    May, 2024

  • 图神经网络的提示调整

    本研究探索了 Graph Prompt 作为预训练 GNN 模型适应下游任务的有效替代方法，通过对下游图形的图形级转换进行任务特定的图形提示来实现，从而实现与微调相当甚至在某些情况下获得显著性能提升。

    Sep, 2022