将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

Jul, 2023

本文提出了一种多视图方法，将来自最先进化学模型的潜在空间进行结合，其中使用了基于 MHG-GNN 的嵌入（将分子结构表示为图形）和根植于化学语言的 MoLFormer 嵌入。我们通过在六个基准数据集上评估该方法，证明了我们所提出的多视图方法在预测临床试验药物毒性和抑制 HIV 复制等复杂任务上，优于现有的最先进方法，包括在 11 亿个分子上进行训练的 MoLFormer-XL。研究结果突显了潜在空间融合和特征整合在推进分子属性预测方面的潜力。

Oct, 2023

本研究利用大型预训练语言模型进行无多样本协同抗癌药物研究，其中提出了 CancerGPT 模型，并取得了较好的实验效果，该模型对于生物反应预测任务具有应用潜力。

Apr, 2023

提出一种双向分子基础模型，通过一个模型进行分子结构和性质推断，在多模态和单模态任务中取得了最先进的性能和可解释的注意力图。

Nov, 2022

准确预测分子性质是药物发现中的一个具有挑战性但必不可少的任务。最近，多模态深度学习方法成功应用于分子性质预测，以克服传统单模态学习方法的局限性并提升模型在准确性、可靠性和抗噪性方面的表现。

Dec, 2023

提出了一种基于图神经网络模型的最新、高效的多任务预测方法，结果表明，多任务学习可以提高模型性能，特别是数据点较少的数据集可以不需要数据增强，便能获得较好的效果，并且能显著减小模型的方差。

Oct, 2019

通过使用小样本数据集进行基于机器学习方法的分子属性预测，研究发现使用消息传递神经网络（PaiNN）以及 SOAP 分子描述符与梯度提升回归树方法相结合的简单分子描述符能够获得最佳预测结果。进一步提出了一种使用大样本数据进行预训练，并在原始数据集进行微调的迁移学习策略，以获取更准确的模型。该策略在 Harvard Oxford Photovoltaics 数据集（HOPV，HOMO-LUMO 间隙）获得了出色结果，在 Freesolv 数据集（溶剂化能）上由于复杂的学习任务和用于预训练和微调标签的不同方法而不成功。研究还发现，预训练数据集的大小与最终训练结果并非单调改善的关系，更少的预训练数据点可能导致预训练模型的偏置更高，从而在微调后获得更高的准确性。

Apr, 2024

本文介绍了一种新颖的多模态语言模型方法，结合化学语言表征和物理化学特征，以预测分子性质。我们的方法使用因果多阶段特征选择方法，在 MOLFORMER 生成的分子嵌入向量空间中，将这些因果特征与物理化学特征相结合。我们的结果表明，与现有的化学语言模型 MOLFORMER 和图形神经网络相比，在预测生物降解性和 PFAS 毒性估计等复杂任务方面，我们的提出的方法表现更优秀。此外，我们证明了我们的特征选择方法可以在保持或提高模型性能的同时降低 Mordred 特征空间的维数。这一方法为未来的分子性质预测研究开辟了有 promising avenues。

Jun, 2023

利用自然语言处理模型 GPT-MolBERTa，通过分析分子的详细文本描述来预测其性质，并展示模型的可解释性。

Sep, 2023

使用 Large Language Models (LLMs) 进行零 / 少量数据量的分子分类以及利用由 LLMs 生成的文本解释作为分子表示，可以大大提高分子属性预测的精度。

Jul, 2023