整合大型语言模型与领域特定小模型的分子图表示学习

Aug, 2024

整合大型语言模型与领域特定小模型的分子图表示学习

Molecular Graph Representation Learning Integrating Large Language Models with Domain-specific Small Models

Tianyu Zhang, Yuxiang Ren, Chengbin Hou, Hairong Lv, Xuegong Zhang

TL;DR该研究解决了分子属性预测中知识获取的高昂成本和时间消耗问题。提出了一种新颖的分子图表示学习框架MolGraph-LarDo，通过结合大型语言模型和领域特定小模型，利用两阶段提示策略校正知识，提高了领域特定信息的准确性，从而增强了分子样本的文本描述精度。实验结果表明，该方法在分子属性预测中表现出显著的有效性。

Abstract

Molecular Property Prediction is a crucial foundation for Drug Discovery. In recent years, pre-trained deep learning models have been widely applied to this task. Some approaches that incorporate prior biological

发现论文，激发创造

分子预训练模型系统调查

本篇论文总结了分子预训练模型领域的近期进展，并从分子描述符、编码器结构、预训练策略和应用等几个关键角度进行了系统性分析，以期为机器学习和科学界提供有用的资源。

Oct, 2022

巨型语言模型能够提升分子属性预测吗？

使用 Large Language Models (LLMs) 进行零/少量数据量的分子分类以及利用由LLMs生成的文本解释作为分子表示，可以大大提高分子属性预测的精度。

Jul, 2023

MolFM：一个多模态分子基础模型

MolFM是一个多模态分子基础模型，通过分子结构、生物医学文本和知识图谱进行联合表示学习，以提高交叉模态理解和下游任务的性能。

Jun, 2023

用多模态对比学习从自然语言中提取分子性质

将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的+4.26% AUROC的增益，并相对于最近提出的分子图/文本对比训练的MoMu模型(Su et al. 2022)的+1.54%增益。

Jul, 2023

MolCA: 跨模态投影器与单模态适配器的分子图语言模型

MolCA是一种使用跨模态计算器和单模适配器的分子图-语言建模方法，能够通过将图编码器的表示空间和语言模型的文本空间连接，使语言模型理解基于文本和图的分子内容。

Oct, 2023

大规模语言模型用于分子预测任务的基准测试

LLMs在分子预测任务中的表现相对较弱，而与机器学习模型合作使用时，LLMs有潜力提升模型性能。

Mar, 2024

LLM与GNN互补：用于多模态图学习的LLM蒸馏

利用GALLON框架，将LLMs与GNNs能力结合起来，通过提取多模态知识到一个统一的多层感知器模型（MLP），集成了分子的丰富文本和视觉数据与GNNs的结构分析能力，显著提高了分子性质预测的准确性和效率。

Jun, 2024

MolX: 使用多模态扩展增强大型语言模型在分子学习中的能力

本研究设计和装备MolX作为一种多模态外部模块，通过使用特定编码器从SMILES字符串和2D分子图表示中提取细粒度特征，从而增强了大型语言模型（LLMs）在理解分子方面的能力。实验结果表明，我们提出的方法在多种分子相关任务中表现出色，包括从分子到文本的翻译和分子的逆合成，无论是否对LLM进行微调。

Jun, 2024

学习具有结构和非结构知识的多视角分子表示

通过多视角分子表示学习，MV-Mol模型从化学结构、生物医学文本和知识图谱中提取多视图分子专业知识，并在分子性质预测和多模态分子结构与文本理解方面展现出卓越的性能。

Jun, 2024

MolecularGPT: 开放式大型语言模型（LLM）用于少样本分子性质预测

利用MolecularGPT，基于大规模语言模型对分子指令进行微调，并通过零样本和少样本的上下文学习，在少样本分子预测任务中取得新的竞争性结果，显示出语境推理能力优势，超过传统的图神经网络方法和现有语言模型基线，为语言模型在少样本分子特性预测中的应用发展提供了潜力。

Jun, 2024