AAAIOct, 2023

基于原子模式对比变压器的分子性质预测

PDF
TL;DR提出了一种新颖的 Atom-Motif Contrastive Transformer (AMCT) 模型，用于分子性质预测任务。该模型不仅探索了原子级别的相互作用，还考虑了分子中关键图案（e.g., 功能基团）之间的相互作用，并在学习框架中构建了适用于分子属性的注意机制。实验证明，AMCT 模型在性能上优于现有的方法。
graph transformermolecular property predictionmotif interactionscontrastive lossproperty-aware attention mechanism
发现论文，激发创造
  • 分子注意力变换器

    通过在 Transformer 中使用原子间距离和分子结构来扩充注意力机制，我们提出了 Molecule Attention Transformer（MAT）神经网络模型，其可以在一系列不同的分子预测任务中以竞争优势表现。并且，我们展示了一个简单的自监督预训练可以让 MAT 以很少的超参数调整就达到最新技术水平，并且 MAT 学习到的注意力权重可以从化学角度解释。

    Feb, 2020

  • 三元交互改进图变换器：基于三元图变换器的精确分子图学习

    通过创新的三元关注机制和聚合机制，Triplet Graph Transformer (TGT) 在图中的两个相邻节点之间实现了直接通信，成功应用于分子性质预测，并通过三阶段训练过程和随机推理提高了训练效率和模型性能，在 PCQM4Mv2、OC20 IS2RE 挑战基准上达到了新的最先进结果，并利用迁移学习在 QM9、MOLPCBA 和 LIT-PCBA 分子性质预测基准上获得最先进结果，同时在旅行商问题 (TSP) 上展示了 TGT 的通用性。

    Feb, 2024

  • 使用通信消息传递 Transformer 学习带属性的图表示

    提出了一种使用 Transformer 结构的通信信息传递神经网络 (CoMPT), 以加强节点和边之间的消息交互，提高分子图的表示能力，在七个化学性质数据集和两个化学位移数据集上的实验证明了所提出模型的卓越性能。

    Jul, 2021

  • 用多模态对比学习从自然语言中提取分子性质

    将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

    Jul, 2023

  • 基于模式图的分子属性预测自监督学习

    本研究介绍了一种基于图形的分子数据的自我监督学习的新型方法，称为基于图案的图形自我监督学习（MGSSL）。我们提出了一种依赖于自生成基元的新的预训练框架来捕获分子图中的丰富信息，该框架可以在宽度优先或深度优先的方式下执行，并在不同的下游基准任务上进行了广泛实验，表明我们的方法优于所有最先进的基线。

    Oct, 2021

  • 分子图预训练的模式感知属性屏蔽

    本研究提出并研究了一种基于化学基团的属性掩码策略，以捕捉相互基团结构特征，并在八个分子性质预测数据集上验证了其优势。

    Sep, 2023

  • KPGT: 分子属性预测中的图形 Transformer 的知识引导预训练

    本文提出了一种名为 “知识引导图转换器的预训练 (KPGT)” 的自监督学习框架，利用高容量的线性图转换器（LiGhT）和知识引导的预训练策略，以解决分子属性预测中存在的两个主要问题，并在大规模无标签分子图上显示出卓越的性能。

    Jun, 2022

  • 3D-Mol: 分子属性预测的新型对比学习框架与三维信息

    通过提取三维特征和使用对比学习的方法，我们的研究提出了一种名为 3D-Mol 的新型三维结构分子建模方法，用于准确表示空间结构，并在 7 个基准测试中展示了出色的性能。

    Sep, 2023

  • 分子性质预测的 Transformer 方法：过去五年的经验教训

    使用变压器模型进行分子属性预测的当前研究进行了分析，强调了尚未涵盖的领域，并提出进行标准化数据划分和稳健统计分析的挑战。

    Apr, 2024

  • 分子属性预测的自动化三维预训练

    本文提出了一个名为 3D PGT 的新颖框架，它可以在无法获得几何结构的实际应用情况下，以 2D 结构为输入预测分子属性，实验证明与各种预训练基线相比，其具有更高的准确性，效率和泛化能力。

    Jun, 2023