MolKD: 化学反应跨模态知识蒸馏用于分子性质预测
准确预测分子性质是药物发现中的一个具有挑战性但必不可少的任务。最近,多模态深度学习方法成功应用于分子性质预测,以克服传统单模态学习方法的局限性并提升模型在准确性、可靠性和抗噪性方面的表现。
Dec, 2023
将自然语言和图形表示相结合,通过对齐神经图形表示和特性文本描述的表示,提高了下游分子属性分类任务的性能,实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益,并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。
Jul, 2023
本文介绍了一种新颖的多模态语言模型方法,结合化学语言表征和物理化学特征,以预测分子性质。我们的方法使用因果多阶段特征选择方法,在 MOLFORMER 生成的分子嵌入向量空间中,将这些因果特征与物理化学特征相结合。我们的结果表明,与现有的化学语言模型 MOLFORMER 和图形神经网络相比,在预测生物降解性和 PFAS 毒性估计等复杂任务方面,我们的提出的方法表现更优秀。此外,我们证明了我们的特征选择方法可以在保持或提高模型性能的同时降低 Mordred 特征空间的维数。这一方法为未来的分子性质预测研究开辟了有 promising avenues。
Jun, 2023
通过提取三维特征和使用对比学习的方法,我们的研究提出了一种名为 3D-Mol 的新型三维结构分子建模方法,用于准确表示空间结构,并在 7 个基准测试中展示了出色的性能。
Sep, 2023
利用机器学习(ML)技术,本研究探索了化学动力学性质的估计。通过 “AI4drug discovery” 发现的药物分子为基础,下一步的关键是以人工智能驱动的设计高通量化学合成过程,并估计未知反应和未探索分子的性质。为此,对于动力学性质预测的现有 ML 方法需要具备 Out-Of-Distribution(OOD)的可推广性。本文将 OOD 动力学性质预测分为三个级别(结构,条件和机制),揭示了这些问题的独特方面。在这个框架下,我们创建了全面的数据集,用于评估(1)在 OOD 设置中用于反应预测的最新 ML 方法,以及(2)用于动力学性质预测问题的最新图形 OOD 方法。我们的结果展示了 OOD 动力学性质预测中的挑战和机遇。我们的数据集和基准可以进一步支持这一研究方向。
Oct, 2023
本文主要探讨了跨模态知识迁移中知识蒸馏的机制,并提出使用模态 Venn 图和模态聚焦假设来提高跨模态知识迁移的有效性。通过对 6 个多模态数据集的实验结果,证明了作者的假设,并指向未来的改进方向。
Jun, 2022
综合审视和数量分析基于各种基准的最新深度学习方法,我们发现融合分子信息不仅能提高分子属性预测回归和分类任务的准确性,还能通过同时利用 1 维和 2 维信息的 3 维信息大幅增强分子属性预测进展,在药物研发中具有重要指导意义。
Feb, 2024
本文旨在使用反应数据进行预训练分子表示的过程,运用在 MoleculeNet 的 12 个分子属性预测任务上,结果显著地提高了预测模型的表现。
Jul, 2022
MolIG 是一种多模态分子预训练框架,通过图像和图结构创新地利用分子图和分子图像之间的一致性和相关性执行自监督任务,有效地将两种分子表示形式的优势融合在一起,这种整体方法能够捕捉关键的分子结构特征和高层次的语义信息,并在分子拓展组和 ADMET 拓展组等基准组中,相对于先进的基线模型展现出在分子性质预测等拓展任务中性能的提升。
Nov, 2023
我们提出了一种基于化学反应知识的 MolCAP,它是一个图形预训练变压器模型,用于推动分子表示学习,其结果表明在各种生物医学任务中优于传统预训练框架的比较方法,这表明了应用反应信息进行分子表示学习的前景。
Jun, 2023