Mar, 2024

图基础模型自我监督预训练调研：基于知识的视角

PDF
TL;DR这篇论文综合了基于图知识的微观和宏观视角，对图基础模型的自我监督预训练任务进行了综述和分析，并包括了 9 个知识类别和 25 个预训练任务，以及各种下游任务适应策略。
graph self-supervised learningpre-training tasksgraph foundation modelsknowledge-based perspectivedownstream task adaptation strategies
发现论文，激发创造
  • 多自监督辅助任务的基于图的神经网络模型

    该论文提出了三个新的自监督辅助任务，以多任务的方式训练基于图的神经网络模型，使用图卷积网络作为构建块，在标准半监督图分类任务上实现了有竞争力的结果。

    Nov, 2020

  • 知识图谱通识自监督的实证研究

    本文旨在研究知识抽取技术对于不同规模和架构的语言模型训练的影响以及如何在各种下游 NLP 任务中进行有效的迁移学习。研究发现，在预训练中选取适当的知识可以显著提高语言模型的泛化性能，数据量越大效果越好，而平衡不同方面的抽样策略可以提高编码解码模型的性能。

    May, 2022

  • 图像自监督学习：综述

    本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。

    Feb, 2021

  • 神经网络顺序转移自监督预训练调查

    本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

    Jul, 2020

  • 走向图基础模型：调研与展望

    提出了图基础模型（GFMs）的概念，并对其关键特征和技术进行首次全面阐述，然后将现有工作根据其依赖性分为三类，即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述，还讨论了这一发展中领域的潜在研究方向。

    Oct, 2023

  • 图上预训练综述：分类，方法和应用

    本篇论文综述了预训练图模型 (Pretrained Graph Models) 的现状，将现有的 PGMs 基于四个不同维度进行了分类，并探讨了其在社交推荐和药物研究等领域中的应用，最后提出了未来研究方向。

    Feb, 2022

  • 预训练图神经网络的策略

    本文提出了一种针对图数据集的预训练策略和自监督方法，通过在节点和整个图级别上预训练表达力强的 GNN，以便 GNN 可以同时学习有用的局部和全局表示，并在多个图分类数据集上进行系统研究，发现我们的策略可避免负面转移并显着提高下游任务的泛化性能，最终达到了在分子性质预测和蛋白质功能预测方面的最先进性能。

    May, 2019

  • 探索基础模型的上下文学习能力，用于从文本中生成知识图谱

    通过自然语言处理中的上下文学习，自动提取命名实体及其关系，实现知识图谱自动化构建。

    May, 2023

  • GPT-GNN：图神经网络的生成预训练

    本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

    Jun, 2020

  • GraphFM：图基模型的全面基准测试

    基于自主学习的图神经网络模型的广义化和可扩展性进行了全面分析和研究，通过生成节点表示，在节点分类、链接预测和节点聚类等任务上实现了各种自主学习图神经网络模型的性能比较，并比较了全批次和小批次训练策略后各个模型的性能，同时评估了这些模型的训练效率。

    Jun, 2024