KPGT: 分子属性预测中的图形 Transformer 的知识引导预训练
本文提出了一个名为 3D PGT 的新颖框架，它可以在无法获得几何结构的实际应用情况下，以 2D 结构为输入预测分子属性，实验证明与各种预训练基线相比，其具有更高的准确性，效率和泛化能力。
Jun, 2023
本文提出了 Geometry-aware line graph transformer (Galformer) 预训练方法，采用 2D 和 3D 模态增强分子表示学习，通过对无标签的分子进行两个互补的预训练任务，提取出 2D 和 3D 知识，并在性质预测方面表现出优越性能。
Sep, 2023
本文提出了一种新的方法，将单个分子结构的图形表示与生物医学知识图的多领域信息相结合，利用自监督策略进行预训练，成功地应用于化学性质预测任务，取得了超过现有最先进模型的表现。
Jun, 2023
本研究介绍了一种基于图形的分子数据的自我监督学习的新型方法，称为基于图案的图形自我监督学习（MGSSL）。我们提出了一种依赖于自生成基元的新的预训练框架来捕获分子图中的丰富信息，该框架可以在宽度优先或深度优先的方式下执行，并在不同的下游基准任务上进行了广泛实验，表明我们的方法优于所有最先进的基线。
Oct, 2021
我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。
Dec, 2023
提出了一种基于路径增强的图转换网络 (PAGTN)，用于学习分子表示，并将其与基于图卷积网络 (GCN) 的模型进行比较，在分子属性预测方面表现更好，包括量子化学 (QM7，QM8，QM9)，物理化学 (ESOL，亲脂) 和生物化学 (BACE，BBBP) 数据集。
May, 2019
我们提出了图结构引导的多模态预训练变换器（SGMPT）用于知识图谱推理，它采用图结构编码器来进行结构特征编码，并采用加权求和和对齐约束两种不同策略的结构引导融合模块，将结构信息注入文本和视觉特征，实验证明了 SGMPT 在多模态 KGR 方面的效果优于现有的最先进模型。
Jul, 2023
本文介绍了一种融合领域知识的自我监督分子表示学习模型，通过在对比学习框架下显式编码领域知识，将化学领域知识融合到分子图表示中，证明这种方法可以区分具有相似化学公式但不同功能的分子。在 8 个公共数据集上进行的实验表明，该模型具有显著的有效性，相对于强竞争对手平均有 6％的绝对改进。消融实验和进一步的研究也证实了将化学领域知识纳入自我监督学习的最佳方法。
Mar, 2021
本文提出一种新型预训练知识图谱模型 KGTransformer 作为多种知识图谱相关任务的通用 KRF 模块，使用三个自监督任务对其进行预训练，并使用三项任务来评估其性能。实验结果表明，KGTransformer 优于特定任务模型并可作为一个通用和有效的 KRF 模块。
Mar, 2023