Dec, 2023

GraphGPT：使用生成式预训练 Transformer 进行图学习

PDF
TL;DR我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。
graphgptself-supervised learningtransformer decodernext-token predictiongraph-level tasks
发现论文，激发创造
  • GPT-GNN：图神经网络的生成预训练

    本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

    Jun, 2020

  • 文本属性图上的纯 Transformer 预训练框架

    图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

    Jun, 2024

  • GraphGPT: 大型语言模型的图指令调优

    我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

    Oct, 2023

  • BioGPT：用于生物医学文本生成和挖掘的生成式预训练变形器

    本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。

    Oct, 2022

  • TrackGPT -- 用于跨领域实体轨迹预测的生成式预训练转换器

    TrackGPT 是一种基于 GPT 的模型，可用于实体轨迹预测，并在测距和空间两个领域表现出强大的性能，同时保持领域无关性和最小化数据特征要求。

    Jan, 2024

  • KPGT: 分子属性预测中的图形 Transformer 的知识引导预训练

    本文提出了一种名为 “知识引导图转换器的预训练 (KPGT)” 的自监督学习框架，利用高容量的线性图转换器（LiGhT）和知识引导的预训练策略，以解决分子属性预测中存在的两个主要问题，并在大规模无标签分子图上显示出卓越的性能。

    Jun, 2022

  • 无纯元素的 Transformer 是强大的图学习器

    本文提出了一种名为 Tokenized Graph Transformer（TokenGT）的新颖神经网络，它可以用于大规模图形学习，通过节点和边的独立表示进行转换，并且通过合适的 token 嵌入，TokenGT 可以在理论上至少与由等变线性层组成的不变图网络（2-IGN）一样有潜力进行表现，实践中，TokenGT 在大规模图形数据集（PCQM4Mv2）上的表现不仅优于基于消息传递的图神经网络（GNN）基线，而且与具有复杂图特定归纳偏差的变型 Transformer 相比也具有竞争力。

    Jul, 2022

  • VL-GPT：用于视觉与语言理解与生成的生成式预训练 Transformer 模型

    VL-GPT 是一种同时感知和生成视觉和语言数据的变压器模型，通过采用直观的自回归目标，实现了图像和文本两种模态的统一预训练方法，从而使模型可以像处理文本一样无缝地处理图像和文本。预训练完成后，VL-GPT 在包括图像字幕生成、视觉问答、文本到图像生成等多样的视觉和语言理解以及生成任务中表现出了令人瞩目的零样本和少样本性能。

    Dec, 2023

  • HiGPT: 异构图语言模型

    HiGPT 是一个通用的大规模图模型，通过异构图指导调优范式，能够从任意异构图中学习，无需对下游数据集进行任何微调过程，实现模型的适应性和泛化性能。

    Feb, 2024

  • BiomedGPT：一种统一和综合的生物医学生成式预训练 Transformer，可用于视觉、语言和多模态任务

    本文介绍了一种统一且通用的生物医学生成式预训练转换器（BiomedGPT）模型，利用自监督方法在大量和多样化的数据集上进行训练，可接受多模式输入并执行多种下游任务，在 20 个公共数据集上表现优于先前绝大多数最先进模型，涵盖了 15 种独特的生物医学模式。通过实验展示了我们的多模式和多任务预训练方法将知识转移应用于先前未曾见过的数据的有效性。总的来说，本研究在开发生物医学统一通用模型方面迈出了重要的一步，对于改善医疗保健结果具有深远的影响。

    May, 2023