化学性质预测的跨模态学习:大型语言模型与图神经网络的结合
本文介绍了一种新颖的多模态语言模型方法,结合化学语言表征和物理化学特征,以预测分子性质。我们的方法使用因果多阶段特征选择方法,在MOLFORMER生成的分子嵌入向量空间中,将这些因果特征与物理化学特征相结合。我们的结果表明,与现有的化学语言模型MOLFORMER和图形神经网络相比,在预测生物降解性和PFAS毒性估计等复杂任务方面,我们的提出的方法表现更优秀。此外,我们证明了我们的特征选择方法可以在保持或提高模型性能的同时降低Mordred特征空间的维数。这一方法为未来的分子性质预测研究开辟了有 promising avenues。
Jun, 2023
使用 Large Language Models (LLMs) 进行零/少量数据量的分子分类以及利用由LLMs生成的文本解释作为分子表示,可以大大提高分子属性预测的精度。
Jul, 2023
分子性质预测的研究中,我们提出了SYN-FUSION,这是一种结合了来自图神经网络和Transformer的预训练特征的新方法,它提供了综合的分子表示,捕捉了全局分子结构和各个原子特征,实验证明其在MoleculeNet基准数据集上的卓越性能,优于以前的模型,在5个分类数据集和6个回归数据集中有优势,并且与其他Graph-Transformer模型相比,我们的方法在性能方面与其不相上下,进一步的分析验证了SYN-FUSION的有效性,消融实验无疑表明SYN-FUSION的协同效应超过了其各个模型组成部分和其集成模型,在预测分子性质方面有实质性的改进。
Aug, 2023
准确预测分子性质是药物发现中的一个具有挑战性但必不可少的任务。最近,多模态深度学习方法成功应用于分子性质预测,以克服传统单模态学习方法的局限性并提升模型在准确性、可靠性和抗噪性方面的表现。
Dec, 2023
综合审视和数量分析基于各种基准的最新深度学习方法,我们发现融合分子信息不仅能提高分子属性预测回归和分类任务的准确性,还能通过同时利用1维和2维信息的3维信息大幅增强分子属性预测进展,在药物研发中具有重要指导意义。
Feb, 2024
利用GALLON框架,将LLMs与GNNs能力结合起来,通过提取多模态知识到一个统一的多层感知器模型(MLP),集成了分子的丰富文本和视觉数据与GNNs的结构分析能力,显著提高了分子性质预测的准确性和效率。
Jun, 2024
该研究解决了分子属性预测中知识获取的高昂成本和时间消耗问题。提出了一种新颖的分子图表示学习框架MolGraph-LarDo,通过结合大型语言模型和领域特定小模型,利用两阶段提示策略校正知识,提高了领域特定信息的准确性,从而增强了分子样本的文本描述精度。实验结果表明,该方法在分子属性预测中表现出显著的有效性。
Aug, 2024
本研究解决了大型语言模型(LLMs)在材料和分子属性回归任务中的应用问题。通过对Meta AI(LLaMA)3进行微调,使用仅基于组成的输入字符串预测分子性质,结果显示,该模型在某些任务上与传统材料属性预测模型相媲美,尽管其误差仍高于现有最优模型。这一发现表明LLMs的多功能性,展示了其在化学和材料科学等领域的潜在应用价值。
Sep, 2024