ICLROct, 2022

多任务自监督图神经网络实现更强的任务泛化

PDF
TL;DR该研究介绍了一种名为 PARETOGNN 的自监督多任务学习框架，利用多个不同的哲学观点的预文本任务监督自我学习，从而在进行节点表示学习和其他后续任务时产生最佳绩效。
self-supervised learninggraph neural networksmulti-task learningnode representation learningtask generalization
发现论文，激发创造
  • 图上自监督学习：深入解析和新方向

    本文旨在探究无监督自我监督学习在图神经网络中的应用，通过多个实验任务深入理解 SSL 在 GNNs 中的表现，研究了该方法何时、为什么以及哪些策略下的效果最佳，提出了新的 SelfTask 方向来创建先进的预训练任务，并在各种真实世界数据集上实现了最先进的性能。

    Jun, 2020

  • 自动化自监督图学习

    Graph self-supervised learning can be improved by leveraging multiple pretext tasks through the AutoSSL framework, which uses homophily as guidance and significantly boosts the performance on downstream tasks.

    Jun, 2021

  • 自监督学习的图神经网络：统一综述

    本论文介绍了自监督学习在图神经网络上的应用，将其方法分为对比模型和预测模型并提供统一的框架，在 SSL 方法和数据集上提供了概述和标准化的测试平台。

    Feb, 2021

  • 图像自监督学习：综述

    本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。

    Feb, 2021

  • 基于图神经网络的自适应迁移学习

    该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。

    Jul, 2021

  • 图上自监督学习：对比、生成或预测

    本文介绍了在图形数据上进行自监督学习的方法，并将其分为对比、生成和预测三种类型，同时对常用数据集、指标、算法进行了总结，并讨论了未来研究方向。

    May, 2021

  • 多任务设置下的图表示学习的元学习方法

    本文提出了一种新的元学习策略，能够生成可用于多个任务的多任务节点嵌入，并在多个任务上表现出比传统模型更高甚至可比的性能。该方法可以避免同时执行多个任务时出现的困难，是模型不可知和任务不可知的，适用于各种多任务领域。

    Dec, 2020

  • GraphGPT: 大型语言模型的图指令调优

    我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

    Oct, 2023

  • GPT-GNN：图神经网络的生成预训练

    本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

    Jun, 2020

  • 多自监督辅助任务的基于图的神经网络模型

    该论文提出了三个新的自监督辅助任务，以多任务的方式训练基于图的神经网络模型，使用图卷积网络作为构建块，在标准半监督图分类任务上实现了有竞争力的结果。

    Nov, 2020