ICLRMay, 2019

预训练图神经网络的策略

PDF
TL;DR本文提出了一种针对图数据集的预训练策略和自监督方法，通过在节点和整个图级别上预训练表达力强的 GNN，以便 GNN 可以同时学习有用的局部和全局表示，并在多个图分类数据集上进行系统研究，发现我们的策略可避免负面转移并显着提高下游任务的泛化性能，最终达到了在分子性质预测和蛋白质功能预测方面的最先进性能。
machine learningpre-traininggraph neural networkslocal and global representationsdownstream tasks
发现论文，激发创造
  • GPT-GNN：图神经网络的生成预训练

    本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

    Jun, 2020

  • 预训练图神经网络用于通用结构特征提取

    本文提出一种预训练框架，使用合成图纹理来获取通用图结构信息，提高了已训练模型在不同下游任务上的性能。

    May, 2019

  • 搜索以微调预训练的图神经网络用于图级任务

    我们设计了一个更好的图神经网络预训练模型的微调策略（S2PGNN），该策略旨在提升模型性能，并在实证研究中展示了其在图级任务中的成果和比现有的微调策略更好的表现。

    Aug, 2023

  • 使用内核对图神经网络进行预训练

    本文提出了一种任务无关的预训练方法，使得图神经网络（GNNs）可以学习最先进的图内核函数所引发的表示，并在监督学习阶段对任务进行微调，该技术对采用的 GNNs 体系结构和内核函数是不可知的，并且在预实验结果中表现出了启示性的提高表现

    Nov, 2018

  • 基于图神经网络的自适应迁移学习

    该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。

    Jul, 2021

  • 基于上下文的假新闻检测中预训练图神经网络的挑战：对当前策略和资源限制的评估

    深度学习在自然语言处理方面的预训练已经彻底改变了领域，同时，对于虚假新闻检测的进展主要是基于上下文的范式驱动的，其中来自社交媒体等不同类型信号形成图状结构，除了新闻文章外还包含上下文信息。我们提议将这两个发展合并起来，将图神经网络的预训练应用到基于上下文的虚假新闻检测领域。我们的实验评估了不同的图状误信息检测预训练策略，结果表明，在该领域中，迁移学习目前并没有显著改进，相比从头开始训练模型。我们认为目前的一个主要问题是缺乏适合的大规模资源供预训练使用。

    Feb, 2024

  • 更好的更少：关于预训练图神经网络的数据主动观点

    我们提出了一种数据主动的图预训练（APT）框架，通过选择最具代表性和指导性的数据点来增强预训练，该框架包括图选择器和预训练模型，并通过两者的整合和交互以渐进迭代的方式进行图预训练，结果表明该方法能够通过较少的训练数据获得高效的预训练模型和更好的下游性能。

    Nov, 2023

  • 基于片段的分子图预训练与微调

    利用基于片段的对比学习方法，在分子图预测性质方面取得了良好表现并提高了长程生物标准的预测效果。

    Oct, 2023

  • 预训练与学习：为图神经网络保留全局信息

    该论文提出了一种名为 G-GNNs 的新型模型，通过无监督预训练获取节点的全局结构和属性特征，然后利用这些特征和原始网络属性，提出了一种 GNN 的并行框架以从这些特征中学习不同的方面。该模型的学习方法可应用于平面图和属性图，并通过 extensive experiments 在三个标准评估图上表现优异，特别地，在属性图学习方面，G-GNNs 在 Cora (84.31%) 和 Pubmed (80.95%) 上建立了新的基准记录。

    Oct, 2019

  • 预训练图神经网络用于少样本智能模拟电路建模和设计

    本文介绍了一种用于电路设计的监督式预训练方法，利用神经网络（NN）和图神经网络（GNN），以预测输出等效电路的直流电压，提升了新电路结构或未见过的预测任务的可适应性和样本效率。

    Mar, 2022