本文提出了一种称为 UniMAP 的通用 SMILE-graph 表示学习模型，通过底层嵌入层和多层 Transformer 的使用，实现了跨多模态融合，包括多级跨模态掩码、SMILES-Graph 匹配、片段级对齐和领域知识学习等预训练任务，通过在多种下游任务上的实验证明了 UniMAP 在分子性质预测、药物 - 目标亲和性预测以及药物 - 药物相互作用方面的优越性能。同时展示了学习到的表示在多模态集成中的效果。

Oct, 2023

本文基于统一的 2D 和 3D 预训练，提出了一种新的基于图神经网络的表示学习方法，将原子坐标和原子间距编码，并通过图神经网络将其与原子表示融合。在 11 个下游分子属性预测任务中进行评估，其在 10 项任务中都获得了最先进的结果，2D 任务平均改进了 8.3％，同时在 2 个三维构象生成任务中也取得了显着的改进。

Jul, 2022

本篇论文总结了分子预训练模型领域的近期进展，并从分子描述符、编码器结构、预训练策略和应用等几个关键角度进行了系统性分析，以期为机器学习和科学界提供有用的资源。

Oct, 2022

本文介绍了一种基于 SMILES Transformer 的分子指纹预测方法，该方法在虚拟筛选和其他药物发现任务中表现出优越性，在小数据集和复杂分析环境中表现良好。

Nov, 2019

本研究提出了图多视角自编码（Graph Multi-View Pre-training）框架，使用自监督学习（self-supervised learning）通过 2D 拓扑和 3D 几何视图之间的对应和一致性提高了对分子图表示的学习能力，并通过实验证明其有效性高于现有的图自监督学习方法。

Oct, 2021

本文提出了一种新的分子联合表示学习框架，通过 SMILES 和分子图的多模态信息进行多模态融合，改进了自我注意力机制，并进一步提出了双向消息传递图神经网络来增强从图中聚合的信息流以进一步组合。我们通过公共性质预测数据集上的大量实验证明了我们的模型的有效性。

Nov, 2022

本文提出了 Transformer-M 模型，可以对 2D 和 3D 分子结构信息进行编码和语义表示，通过合适的监督信号训练获得对不同数据格式的知识，从而能够广泛应用于不同的任务。

Oct, 2022

该研究提出了一种基于对比学习构建多语言分子嵌入的预训练方法 MM-Deacon，通过对 SMILES 和 IUPAC 语言的大规模分子进行预训练，在分子性质预测、零样本跨语言检索和药物相互作用预测任务中取得了鲁棒性良好的结果。

Sep, 2021

本文提出了一种基于 SMILES 和分子指纹的混合特征的神经网络模型 CheMixNet，其用于预测化学物质的性质，与其他候选神经网络体系结构相比取得了更好的效果。

Nov, 2018

本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

Sep, 2022