Jan, 2024

LLaMA和ChatGPT嵌入在分子嵌入方面的比较分析

HTML
PDF
TL;DR大型语言模型在化学信息学领域的应用潜力日益受到重视，特别是在解释SMILES（Simplified Molecular Input Line Entry System）方面，这是一种表示化学结构的标准方法。通过使用大型语言模型可以将SMILES字符串解码为向量表示，从而提供了一种理解化学图的新方法。我们研究了ChatGPT和LLaMA在嵌入SMILES字符串方面的性能，并将重点评估应用在药物开发和医疗保健中至关重要的两个关键问题：分子性质预测和药物间相互作用预测。我们发现，使用LLaMA生成的SMILES嵌入在分子性质预测和药物间相互作用预测任务中胜过ChatGPT。值得注意的是，基于LLaMA的SMILES嵌入在这两个预测任务中与现有方法相当。大型语言模型在化学信息学中的应用，特别是利用SMILES嵌入，为推进药物开发提供了巨大的潜力，包括改进化学性质预测和促进药物发现过程。
发现论文，激发创造
  • 对比预训练下的多语言分子表示学习

    该研究提出了一种基于对比学习构建多语言分子嵌入的预训练方法 MM-Deacon，通过对 SMILES 和 IUPAC 语言的大规模分子进行预训练，在分子性质预测、零样本跨语言检索和药物相互作用预测任务中取得了鲁棒性良好的结果。

    Sep, 2021

  • 使用检索和领域反馈的 ChatGPT 动力药物编辑对话

    ChatDrug是一种基于会话大型语言模型（LLMs）的药物编辑框架，该模型联合使用提示模块、检索域反馈（ReDF）模块和会话模块，以实现有效的药物编辑，其在33项药物编辑任务中表现最佳，并可以从领域特定的角度提供有启发性的解释，为制药研究和发展的推进铺平了道路。

    May, 2023

  • 巨型语言模型能够提升分子属性预测吗？

    使用 Large Language Models (LLMs) 进行零/少量数据量的分子分类以及利用由LLMs生成的文本解释作为分子表示，可以大大提高分子属性预测的精度。

    Jul, 2023

  • 基于LLMs的药物分子结构的碎片水平理解的实证证据

    AI用于药物发现是近年来的研究热点，基于SMILES的语言模型越来越多地应用于药物分子设计。本研究探讨了语言模型是否以及如何从1D序列中理解化学空间结构。我们在化学语言上对Transformer模型进行预训练，并朝向药物设计目标进行微调，研究高频SMILES子字符串与分子片段的对应关系。结果表明，语言模型可以从分子片段的角度理解化学结构，并且通过微调学到的结构知识反映在模型生成的高频SMILES子字符串中。

    Jan, 2024

  • DrugAssist：一个用于分子优化的大型语言模型

    通过人机对话，结合大型语言模型的强交互性和泛化性，提出了DrugAssist，一个用于分子优化的交互式模型，成功在单一和多个性能优化方面取得了领先的结果，同时展示了潜在的可迁移性和迭代优化的巨大潜力。

    Dec, 2023

  • 大规模语言模型用于分子预测任务的基准测试

    LLMs在分子预测任务中的表现相对较弱，而与机器学习模型合作使用时，LLMs有潜力提升模型性能。

    Mar, 2024

  • 模型架构与规模对预测分子性质的作用：来自对RoBERTa、BART和LLaMA的微调的见解

    该研究引入了一个系统框架，用于比较大型语言模型在各种化学信息学任务中的微调效果。通过采用统一的训练方法，我们评估了三种知名模型（RoBERTa、BART和LLaMA）在使用SMILES作为通用分子表示格式预测分子性质时的能力。我们的比较分析涉及18种不同参数大小和数据集规模的这些模型的预训练，接着对它们在DeepChem的六个基准任务上进行微调。该研究不仅界定了每种模型类型的优势和局限性，还为选择最适合特定化学信息学应用的大型语言模型提供了可靠的方法论。

    May, 2024

  • MolX: 使用多模态扩展增强大型语言模型在分子学习中的能力

    本研究设计和装备MolX作为一种多模态外部模块，通过使用特定编码器从SMILES字符串和2D分子图表示中提取细粒度特征，从而增强了大型语言模型（LLMs）在理解分子方面的能力。实验结果表明，我们提出的方法在多种分子相关任务中表现出色，包括从分子到文本的翻译和分子的逆合成，无论是否对LLM进行微调。

    Jun, 2024

  • MolecularGPT: 开放式大型语言模型（LLM）用于少样本分子性质预测

    利用MolecularGPT，基于大规模语言模型对分子指令进行微调，并通过零样本和少样本的上下文学习，在少样本分子预测任务中取得新的竞争性结果，显示出语境推理能力优势，超过传统的图神经网络方法和现有语言模型基线，为语言模型在少样本分子特性预测中的应用发展提供了潜力。

    Jun, 2024

  • SmileyLlama：修改大型语言模型以进行定向化学空间探索

    本研究解决了大型语言模型在化学空间探索中的应用问题，提出了一种新的方法，通过对开源Llama模型进行有监督微调和直接偏好优化，开发出一种化学语言模型。最重要的发现是，该模型能够生成符合药物开发需求的分子，具有广泛的应用潜力。

    Sep, 2024