Jan, 2024

利用辅助学习和特定任务适应性增强分子性质预测

PDF
TL;DR既训练的图神经网络（Pretrained Graph Neural Networks）广泛应用于各种分子属性预测任务，但由于传统的精调对目标任务的训练会导致较差的泛化性能，因此本文探讨了通过与多个辅助任务共同训练的方式来适应目标任务的预训练图神经网络。实验证明了我们提出的方法的有效性，在最先进的预训练图神经网络上的改进效果达到了 7.7％，这表明在分子属性预测中，将辅助任务与目标任务的精调结合起来可以有效提高预训练图神经网络的泛化能力。
pretrained graph neural networksmolecular property predictionauxiliary taskstarget taskgeneralizability
发现论文，激发创造
  • 基于图神经网络的自适应迁移学习

    该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。

    Jul, 2021

  • 应用于分子性质预测的图神经网络上的多任务学习

    提出了一种基于图神经网络模型的最新、高效的多任务预测方法，结果表明，多任务学习可以提高模型性能，特别是数据点较少的数据集可以不需要数据增强，便能获得较好的效果，并且能显著减小模型的方差。

    Oct, 2019

  • 基于片段的分子图预训练与微调

    利用基于片段的对比学习方法，在分子图预测性质方面取得了良好表现并提高了长程生物标准的预测效果。

    Oct, 2023

  • 3D Infomax 提高了分子属性预测的 GNN 性能

    该研究提出了一种基于 2D 分子图的分子几何预训练模型，通过自监督学习方法，使其能够生成隐含的 3D 信息，显著提升各种性质的预测表现，并可跨多个不同的分子空间进行有效的迁移学习。

    Oct, 2021

  • 基于模式图的分子属性预测自监督学习

    本研究介绍了一种基于图形的分子数据的自我监督学习的新型方法，称为基于图案的图形自我监督学习（MGSSL）。我们提出了一种依赖于自生成基元的新的预训练框架来捕获分子图中的丰富信息，该框架可以在宽度优先或深度优先的方式下执行，并在不同的下游基准任务上进行了广泛实验，表明我们的方法优于所有最先进的基线。

    Oct, 2021

  • 基于图和 Transformer 特征的协同融合提升分子属性预测

    分子性质预测的研究中，我们提出了 SYN-FUSION，这是一种结合了来自图神经网络和 Transformer 的预训练特征的新方法，它提供了综合的分子表示，捕捉了全局分子结构和各个原子特征，实验证明其在 MoleculeNet 基准数据集上的卓越性能，优于以前的模型，在 5 个分类数据集和 6 个回归数据集中有优势，并且与其他 Graph-Transformer 模型相比，我们的方法在性能方面与其不相上下，进一步的分析验证了 SYN-FUSION 的有效性，消融实验无疑表明 SYN-FUSION 的协同效应超过了其各个模型组成部分和其集成模型，在预测分子性质方面有实质性的改进。

    Aug, 2023

  • 学习将辅助数据集分组用于分子

    通过结合图结构和任务相似性，我们提出了 MolGroup 模型，该模型能够可靠地识别出对目标数据集有益的辅助分子数据集，并通过优化的路由机制实现了预测每个目标数据集的最佳辅助数据集组合，通过一系列实验证明了 MolGroup 的效率和有效性。

    Jul, 2023

  • MetaBalance：通过调整辅助任务的梯度幅度来改善多任务推荐

    本文提出了一种新方法 ——MetaBalance，通过直接操纵多任务网络中共享参数的梯度来平衡辅助任务的损失，以解决多任务学习时存在的优化失衡问题，实验结果表明该方法在两个真实数据集上相对于最强基线提高了 8.34％的 NDCG @ 10。

    Mar, 2022

  • 利用梯度相似性调整辅助损失

    研究使用余弦相似度检测是否辅助损失有助于主要损失，证明该方法保证收敛到主要任务的临界点并在多任务学习和强化学习中实际发挥作用。

    Dec, 2018

  • 通过协同专家混合增强分子性质预测

    使用 GNN-MoCE 架构，通过 Mixture of Collaborative Experts (MoCE) 作为预测器，在解决专家池同质性问题和专家组决策支配困境的同时增强了专家多样性，从而在 24 个 MPP 数据集上表现出比传统方法更卓越的性能，特别是在数据限制或极度不平衡的任务中。

    Dec, 2023