Jun, 2024

MolX: 使用多模态扩展增强大型语言模型在分子学习中的能力

PDF
TL;DR本研究设计和装备 MolX 作为一种多模态外部模块，通过使用特定编码器从 SMILES 字符串和 2D 分子图表示中提取细粒度特征，从而增强了大型语言模型（LLMs）在理解分子方面的能力。实验结果表明，我们提出的方法在多种分子相关任务中表现出色，包括从分子到文本的翻译和分子的逆合成，无论是否对 LLM 进行微调。
发现论文，激发创造
  • 从词语到分子：化学中大型语言模型的调查

    将大型语言模型 (LLMs) 整合到化学领域是一个复杂的任务，本文以细致的方法论探索了该跨学科领域的复杂性和创新，从分子信息如何通过各种表示和标记方法导入 LLMs 开始，将化学 LLMs 分为三个不同的群体，并讨论了将这些输入整合到 LLMs 的方法，然后探讨了应用 LLMs 在化学中的多样化应用，包括在化学任务中的新范例，最后确定了有望的研究方向，包括进一步整合化学知识，持续学习的进展以及模型可解释性的改进，为该领域的突破性发展铺平了道路。

    Feb, 2024

  • 巨型语言模型能够提升分子属性预测吗？

    使用 Large Language Models (LLMs) 进行零 / 少量数据量的分子分类以及利用由 LLMs 生成的文本解释作为分子表示，可以大大提高分子属性预测的精度。

    Jul, 2023

  • 大规模语言模型用于分子预测任务的基准测试

    LLMs 在分子预测任务中的表现相对较弱，而与机器学习模型合作使用时，LLMs 有潜力提升模型性能。

    Mar, 2024

  • 面向语言模型中的三维分子 - 文本解释

    通过在语言模型中嵌入 3D 分子编码器，我们提出了 3D-MoLM：3D 分子语言建模，用于解决语言模型在理解三维分子结构方面的限制，在生物分子领域具有潜力。

    Jan, 2024

  • InstructMol: 用于药物发现中构建多模态集成的多功能可靠分子助手

    通过一种多模态的大型语言模型 InstructMol，将分子结构与自然语言有效地对齐，通过一种指令调整方法，利用有限的领域特定数据与分子和文本信息相结合的两阶段训练策略，展示了在药物发现相关的分子任务上的显著性能改进，超过了领先的大型语言模型，并显著缩小了与专业模型之间的差距，从而为实现一个多才多艺、可靠的药物发现助手奠定了坚实的基础。

    Nov, 2023

  • GIT-Mol: 分子科学的多模态大型语言模型与图形、图像和文本

    通过引入 GIT-Mol 和 GIT-Former，我们开发了一种创新的任意类型到语言的分子翻译策略，并在分子字幕生成方面实现了 10%-15% 的改进，在属性预测方面提高了 5%-10% 的准确性，并且在分子生成有效性方面提高了 20%。

    Aug, 2023

  • 科学语言建模：大型语言模型在分子科学中的定量评价

    通过使用多模态基准 ChEBI-20-MM，我们评估了模型与数据模态的兼容性和知识获取，并通过模态转移概率矩阵提供了适用于任务的最合适的模态，同时引入了一种统计可解释的方法，通过局部特征过滤来发现具有上下文特定的知识映射，从而揭示了科学语言建模在分子科学中的学习机制及其推进方法的可能性。

    Feb, 2024

  • 化学 LLM: 一种化学大型语言模型

    ChemLLM 是第一个专门用于化学领域的大型语言模型，通过使用结构化化学知识构建对话系统，能够在化学学科中顺畅交互完成各种任务，包括名称转换、分子标题和反应预测，并在相关数学和物理任务中展现出出色的适应性。

    Feb, 2024

  • MolXPT：将文本与分子结合进行生成预训练

    本文提出了 MolXPT，一个基于 SMILES 的统一文本和分子预训练语言模型，将来自 PubMed 的文本序列和来自 PubChem 的 SMILES 序列一起进行预训练，并取得了超越强基线的性能。

    May, 2023

  • LlaSMol：通过大规模、综合、高质量的指导调整数据集推进化学领域的大型语言模型

    我们研究了基于 SMolInstruct 数据集进行 fine-tune 的大型语言模型在化学任务上表现出色，特别是 Mistral 模型，同时，我们还分析了可训练参数的影响，为未来的研究提供了一些见解。

    Feb, 2024