ICMLAug, 2022

基于曲率的图网络多任务学习

PDF
TL;DR本文研究了多任务学习中的 loss curvature 对于图神经网络预测晶体和分子性质的影响，发现不同属性的 loss 表面曲率差异很大，因此需要更好的训练框架。
crystalsmoleculesgraph neural networksmulti-task learningloss function
发现论文，激发创造
  • 应用于分子性质预测的图神经网络上的多任务学习

    提出了一种基于图神经网络模型的最新、高效的多任务预测方法，结果表明，多任务学习可以提高模型性能，特别是数据点较少的数据集可以不需要数据增强，便能获得较好的效果，并且能显著减小模型的方差。

    Oct, 2019

  • 基于曲率的变换器用于分子性质预测

    基于曲率的 Transformer 通过引入离散化的里奇曲率来改进图变换器神经网络模型对分子图数据中的结构信息的提取能力，通过将图的曲率信息作为位置编码添加到节点特征中进行注意力计算，这种方法能够在不改变原有网络架构的情况下引入图数据的曲率信息，且在 PCQM4M-LST、MoleculeNet 等化学分子数据集上与 Uni-Mol、Graphormer 等模型进行对比实验，结果表明该方法能够达到最先进的效果，证明离散化的里奇曲率在描述分子数据图的局部几何的同时也反映了其结构和功能关系。

    Jul, 2023

  • 分子性质预测：多层量子相互作用建模透视

    本研究提出了可推广和可转移的分层图卷积神经网络（MGCN）以预测分子性质。研究中将每个分子表示为图以保留其内部结构，并且通过多级交互从构象和空间信息直接提取特征，从而可以利用多级总体表示来进行预测。实验结果显示 MGCN 具有显著的泛化能力和可转移性。

    Jun, 2019

  • 混合量子图神经网络用于分子属性预测

    利用数据驱动技术的材料设计过程中，我们开发了一种融合经典和量子计算的混合模型来预测钙钛矿材料的能量形成。该模型的性能与经典模型和其他机器学习算法相媲美，为探索量子特征编码和参数化量子电路在图神经网络等复杂机器学习算法中的巨大改进提供了一种新途径。

    May, 2024

  • 分层语法引导几何用于高效的分子属性预测

    通过使用可学习的分层分子语法，我们提出了一种数据高效的性质预测方法，可以从语法生成规则中生成分子，并利用次级空间的几何信息进行性质预测，从而在有限数据情况下优于其他方法。

    Sep, 2023

  • 分子属性预测的图多相似性学习

    我们提出了图形多相似学习（GraphMSL）框架，它在连续尺度上捕捉了分子的自相似性和相对相似性，从而显著提高了分子性质预测中的表示学习的效果。此框架通过不同化学模态推导出单峰多相似性度量，融合这些度量到多模态形式中，灵活的融合函数可以重塑模型的重点以传达不同的化学语义，并通过各种下游任务和事后分析显示出了显著的性能，在药物发现评估中具有重要潜力。

    Jan, 2024

  • 用多模态对比学习从自然语言中提取分子性质

    将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

    Jul, 2023

  • 神经损失景观的局部几何的新兴特性

    本文通过实验和理论研究了神经网络的波动，发现高维神经网络的损失函数曲面具有多方向高正曲率、梯度下降具有狭窄、随机位于此曲面中不同位置处的超平面理论能够解释背后的机理。

    Oct, 2019

  • 基于图采样的分子属性预测元学习

    为了有效利用分子和性质之间的多对多关系，我们提出了一种基于图采样的元学习（GS-Meta）框架来解决少样本分子属性预测问题。在五个常用基准测试中，GS-Meta 方法在 ROC-AUC 上始终优于现有技术 5.71％-6.93％，并验证了每个提议模块的有效性。

    Jun, 2023

  • 使用图形超网络进行分子属性预测和分类

    本文中，研究者探究了基于超网络的替代方法，发现在各种基准测试中具有最先进的成果，尤其在学习基于分子的属性预测和分类方面表现突出，并且解决了超网络的稳定性问题。

    Feb, 2020