AAAIJan, 2024

MolTailor: 通过文本提示定制化化学分子表征以执行特定任务

PDF
TL;DR通过将语言模型视为代理和分子预训练模型视为知识库，我们提出了一种新颖的方法，称为 MolTailor，它可以通过理解任务的自然语言描述来强调分子表示中与任务相关的特征，从而提高预测性能。通过评估，我们证明了 MolTailor 相较于基线模型表现出更好的性能，验证了增强分子表示学习相关性的有效性，展示了语言模型引导优化的潜力，以更好地利用和释放现有强大的分子表示方法的能力。
发现论文，激发创造
  • 利用多任务语言建模统一分子和文本表示

    提出了一种多领域、多任务的语言模型，能够处理化学和自然语言，并共享模型参数来优化实验室操作和科学发现加速。

    Jan, 2023

  • 利用语言模型和领域相关辅助任务进行分子表示学习

    本文采用 Transformer 结构，具体为 BERT，来学习灵活高质量的分子表示，从预训练使用不同组合的自监督任务的影响、到提高所学表示的领域相关性，最终提高了我们模型 MolBert 在基准数据集上的性能，显示其在药物发现方面具有良好的应用前景。

    Nov, 2020

  • MolCAP：分子化学反应预训练及促进微调增强的分子表示学习

    我们提出了一种基于化学反应知识的 MolCAP，它是一个图形预训练变压器模型，用于推动分子表示学习，其结果表明在各种生物医学任务中优于传统预训练框架的比较方法，这表明了应用反应信息进行分子表示学习的前景。

    Jun, 2023

  • 用多模态对比学习从自然语言中提取分子性质

    将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

    Jul, 2023

  • 自然语言交互分子发现

    本文提出了一种基于自然语言描述和编辑目标分子的新型任务，即 “对话式分子设计”，并设计了一个通用的 ChatMol 模型，它采用了大规模语言模型和化学知识相结合的技术，来实现将自然语言和化学语言相互转换在分子领域的应用。

    Jun, 2023

  • 分子发现中的语言模型

    科学语言模型在分子发现中的作用及其在药物设计、性质预测和反应化学中的优势，以及通过降低科学语言建模领域的门槛来加速化学发现，并提出结合聊天机器人界面和计算化学工具的分子设计愿景。

    Sep, 2023

  • 对比预训练下的多语言分子表示学习

    该研究提出了一种基于对比学习构建多语言分子嵌入的预训练方法 MM-Deacon，通过对 SMILES 和 IUPAC 语言的大规模分子进行预训练，在分子性质预测、零样本跨语言检索和药物相互作用预测任务中取得了鲁棒性良好的结果。

    Sep, 2021

  • 分子语言模型作为多任务生成器

    本文提出了一个经过预训练的分子语言模型 MolGen，通过多任务分子前缀调整自我反馈机制，可以在多个分子生成任务和不同领域（合成和天然产物）中有效地学习和共享知识，进而在众多分子生成基准数据集上获得优越性能。

    Jan, 2023

  • 分子语言模型的偏好优化

    分子语言建模是生成新化学结构的有效方法，但这些模型未事先编码化学家可能想要的某些偏好。我们研究使用直接偏好优化的微调方法，以更好地使生成的分子与化学家的偏好相一致。我们的发现表明，这种方法简单、高效且非常有效。

    Oct, 2023

  • 分子与自然语言的翻译

    $\textbf {MolT5}$ 是一个自监督学习框架，可用于对大量未标记的自然语言文本和分子字符串进行预训练，允许新的、有用的和具有挑战性的类比于传统的视觉语言任务。

    Apr, 2022