Feb, 2020

分子注意力变换器

PDF
TL;DR通过在 Transformer 中使用原子间距离和分子结构来扩充注意力机制，我们提出了 Molecule Attention Transformer（MAT）神经网络模型，其可以在一系列不同的分子预测任务中以竞争优势表现。并且，我们展示了一个简单的自监督预训练可以让 MAT 以很少的超参数调整就达到最新技术水平，并且 MAT 学习到的注意力权重可以从化学角度解释。
neural networkmolecule property predictionmatattention mechanismdrug discovery
发现论文，激发创造
  • 多分支注意力 Transformer

    本研究提出了一种名为多分支注意力 Transformer（MAT）的变体，通过平均多个分支的注意力层，并使用两种训练技术 —— 随机丢弃分支和相似初始化，对机器翻译、代码生成和自然语言理解等任务进行了实验，并取得了显著改善。

    Jun, 2020

  • 一种 Transformer 模型可以理解 2D 和 3D 分子数据

    本文提出了 Transformer-M 模型，可以对 2D 和 3D 分子结构信息进行编码和语义表示，通过合适的监督信号训练获得对不同数据格式的知识，从而能够广泛应用于不同的任务。

    Oct, 2022

  • 基于原子模式对比变压器的分子性质预测

    提出了一种新颖的 Atom-Motif Contrastive Transformer (AMCT) 模型，用于分子性质预测任务。该模型不仅探索了原子级别的相互作用，还考虑了分子中关键图案（e.g., 功能基团）之间的相互作用，并在学习框架中构建了适用于分子属性的注意机制。实验证明，AMCT 模型在性能上优于现有的方法。

    Oct, 2023

  • 基于分子几何的 Transformer 模型，用于准确建模三维原子系统

    我们提出了一种新颖的 Transformer 架构 Moleformer，它将节点（原子）和边（键和非键原子对）作为输入，并使用旋转不变性和平移不变性的几何感知空间编码来模拟它们之间的相互作用。我们在 OC20 和 QM9 数据集上进行了基准测试，Moleformer 在 OC20 的初始状态到松弛能量预测方面实现了最先进的水平，并且在预测量子化学性质方面与其他 Transformer 和图神经网络方法相比非常有竞争力，证明了所提出的几何感知空间编码在 Moleformer 中的有效性。

    Feb, 2023

  • BERT 与生物学相遇：解析蛋白质语言模型中的注意力

    本研究通过注意力机制探索分析蛋白质 Transformer 模型，展示其捕捉蛋白质折叠结构，定位蛋白质功能性区域，以及随着层数增加逐渐关注复杂生物物理特性等行为，结果表明三种 Transformer 架构对此表现一致，并提供蛋白质结构和注意力之间的三维可视化交互。

    Jun, 2020

  • 利用语言模型和领域相关辅助任务进行分子表示学习

    本文采用 Transformer 结构，具体为 BERT，来学习灵活高质量的分子表示，从预训练使用不同组合的自监督任务的影响、到提高所学表示的领域相关性，最终提高了我们模型 MolBert 在基准数据集上的性能，显示其在药物发现方面具有良好的应用前景。

    Nov, 2020

  • 三元交互改进图变换器：基于三元图变换器的精确分子图学习

    通过创新的三元关注机制和聚合机制，Triplet Graph Transformer (TGT) 在图中的两个相邻节点之间实现了直接通信，成功应用于分子性质预测，并通过三阶段训练过程和随机推理提高了训练效率和模型性能，在 PCQM4Mv2、OC20 IS2RE 挑战基准上达到了新的最先进结果，并利用迁移学习在 QM9、MOLPCBA 和 LIT-PCBA 分子性质预测基准上获得最先进结果，同时在旅行商问题 (TSP) 上展示了 TGT 的通用性。

    Feb, 2024

  • ChemBERTa: 面向分子性质预测的大规模自监督预训练

    这项工作通过 ChemBERTa 模型对分子性质预测任务中的 transformers 进行了系统评估，结果表明 transformers 在分子表示学习和性质预测方面具有很大的发展潜力，同时我们为大规模自监督预训练提供了一份 77M SMILES 的数据集。

    Oct, 2020

  • 使用通信消息传递 Transformer 学习带属性的图表示

    提出了一种使用 Transformer 结构的通信信息传递神经网络 (CoMPT), 以加强节点和边之间的消息交互，提高分子图的表示能力，在七个化学性质数据集和两个化学位移数据集上的实验证明了所提出模型的卓越性能。

    Jul, 2021

  • 基于曲率的变换器用于分子性质预测

    基于曲率的 Transformer 通过引入离散化的里奇曲率来改进图变换器神经网络模型对分子图数据中的结构信息的提取能力，通过将图的曲率信息作为位置编码添加到节点特征中进行注意力计算，这种方法能够在不改变原有网络架构的情况下引入图数据的曲率信息，且在 PCQM4M-LST、MoleculeNet 等化学分子数据集上与 Uni-Mol、Graphormer 等模型进行对比实验，结果表明该方法能够达到最先进的效果，证明离散化的里奇曲率在描述分子数据图的局部几何的同时也反映了其结构和功能关系。

    Jul, 2023