通过在语言模型中嵌入 3D 分子编码器，我们提出了 3D-MoLM：3D 分子语言建模，用于解决语言模型在理解三维分子结构方面的限制，在生物分子领域具有潜力。

Jan, 2024

该研究提出了一个基于 LLMs 的多模态框架 MolTC，以图像化信息为基础，实现了统一的分子间相互作用预测，并进行了包括 400 万分子对的多数据集实验，证明了该方法在基于 GNN 和 LLM 的基准测试中的优越性。

Feb, 2024

大型语言模型（LLM）在生物化学任务中表现出卓越的性能，特别是分子字幕翻译任务，在分子和自然语言文本之间建立联系。然而，先前的方法在将 LLM 调整到分子 - 字幕翻译任务中需要额外的领域特定预训练阶段，分子和文本空间之间的对齐性较弱，或者对 LLM 的规模有严格要求。为了解决这些挑战，我们提出了一种新的范式：上下文分子适应（ICMA），允许 LLM 通过上下文示例来学习分子 - 文本对应关系。实验证明，ICMT 可以使 LLM 在没有额外的训练语料库和复杂结构的情况下实现最先进的或相当的性能，表明 LLM 本质上是上下文中的分子学习器。

Mar, 2024

本研究设计和装备 MolX 作为一种多模态外部模块，通过使用特定编码器从 SMILES 字符串和 2D 分子图表示中提取细粒度特征，从而增强了大型语言模型（LLMs）在理解分子方面的能力。实验结果表明，我们提出的方法在多种分子相关任务中表现出色，包括从分子到文本的翻译和分子的逆合成，无论是否对 LLM 进行微调。

Jun, 2024

通过引入 GIT-Mol 和 GIT-Former，我们开发了一种创新的任意类型到语言的分子翻译策略，并在分子字幕生成方面实现了 10%-15% 的改进，在属性预测方面提高了 5%-10% 的准确性，并且在分子生成有效性方面提高了 20%。

Aug, 2023

通过对分子的图形和语义相关文本数据进行对比学习，我们提出了一个分子多模态基础模型，该模型结合了图形和自然语言的特定和互补信息，更好地抓住了分子的专业知识以及具备了从自然语言描述中生成有意义的分子图形的能力。

Sep, 2022

本文提出了一种多视图方法，将来自最先进化学模型的潜在空间进行结合，其中使用了基于 MHG-GNN 的嵌入（将分子结构表示为图形）和根植于化学语言的 MoLFormer 嵌入。我们通过在六个基准数据集上评估该方法，证明了我们所提出的多视图方法在预测临床试验药物毒性和抑制 HIV 复制等复杂任务上，优于现有的最先进方法，包括在 11 亿个分子上进行训练的 MoLFormer-XL。研究结果突显了潜在空间融合和特征整合在推进分子属性预测方面的潜力。

Oct, 2023

生物学和化学领域的最新进展已经利用多模态学习，将分子及其自然语言描述整合到药物发现中。然而，当前的预训练框架局限于两种模态，并且设计一个能够处理不同模态（如自然语言、2D 分子图、3D 分子构象和 3D 蛋白质）的统一网络仍具有挑战性。在这项工作中，我们提出了 MolBind，这是一个通过对比学习训练多模态编码器的框架，将所有模态映射到共享特征空间以实现多模态语义对齐。为了促进 MolBind 在多模态上的有效预训练，我们还构建了一个包含图 - 语言、构象 - 语言、图 - 构象和构象 - 蛋白质配对数据的高质量数据集，即 MolBind-M4。MolBind 在广泛任务上展示了优越的零样本学习性能，表明它能够很好地捕捉多种模态的潜在语义。

Mar, 2024

将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

Jul, 2023

$\textbf {MolT5}$ 是一个自监督学习框架，可用于对大量未标记的自然语言文本和分子字符串进行预训练，允许新的、有用的和具有挑战性的类比于传统的视觉语言任务。

Apr, 2022