无文本多域图形预训练:走向图形基础模型
本文提出一种利用域图编码域相邻度的方法,将域统一alignment放松,以灵活的方式进行域对齐,并基于图结构推广现有的对抗学习框架, 成功地将域信息自然地纳入域自适应方法,提高了现有域自适应方法在综合和真实数据集上的效果。
Feb, 2022
图领域适应模型在跨网络学习任务中得到广泛应用,目的是传递标记或结构知识。我们提出了一个名为OpenGDA的基准,它提供了丰富的预处理和统一数据集以进行不同类型的任务评估,并整合了最先进的模型和标准化的端到端流程。OpenGDA是一个用户友好、可扩展和可复制的基准,可用于评估图领域适应模型在真实世界应用中的性能和挑战。
Jul, 2023
我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力,通过发展面向图结构知识的大型语言模型(LLMs),并利用图指示调整范式来与图结构知识建立联系,探索自我监督的图结构信号和任务特定的图指示,从而引导LLMs在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估,展示了优越的泛化能力,并超过了最先进的基准模型。
Oct, 2023
利用多个图数据集进行预训练来提高少样本学习的有效性,通过融合各异的图数据集来提取和转移有意义的知识到目标任务,为图基础模型领域做出开创性贡献。
Feb, 2024
我们提出了UniGraph框架,通过使用文本属性图(TAGs)来训练图基础模型,实现对未见过的图和任务在不同领域中的泛化能力。我们的方法采用了级联的语言模型(LMs)和图神经网络(GNNs)构建的骨干网络以及基于掩码图建模(MGM)的自我监督训练目标,并引入大型语言模型(LLMs)进行图指令调优,进而使模型能够进行零样本预测。在各种图学习任务和领域的全面实验证明了我们模型在未见过的图的自我监督表示学习、少样本上下文转移和零样本转移方面的有效性,甚至超越或匹配了在目标数据集上进行受监督训练的GNNs的性能。
Feb, 2024
我们提出了一种名为GraphCTA的新范式,通过一系列步骤:在考虑本地和全局信息的情况下,基于目标图中节点邻居的预测进行模型适应;通过邻域对比学习来更新图结构和节点属性进行图适应;以及使用更新后的图作为输入来促进后续模型适应的迭代,从而在没有访问标记源图的情况下解决领域适应问题。我们在各种公共数据集上进行了全面的实验,实验结果表明我们提出的模型较最近的无源基准模型有很大的改进。
Mar, 2024
这篇论文综合了基于图知识的微观和宏观视角,对图基础模型的自我监督预训练任务进行了综述和分析,并包括了9个知识类别和25个预训练任务,以及各种下游任务适应策略。
Mar, 2024
多图多任务预训练方法(GraphFM)通过将特定领域的特征压缩到一个共同的潜空间,并在不同领域的数据上进行扩展,提高了通用模型的泛化能力。通过对152个不同图数据集进行预训练,并根据跨多个领域的数据构建扩展规律,该方法证明了在真实和合成图上进行多图预训练可以显著减轻当前图训练方法的负担,创建一种能在广泛数据集和任务中竞争的单一通用模型。
Jul, 2024