Nov, 2023

LLamol：一种用于全新分子设计的动态多条件生成变换器

PDF
TL;DR我们提出了一种基于 LLama 2 架构的单一新颖生成模型 LLamol，它在来自多样公共来源的 1300 万有机化合物的超集上进行了训练，并引入了一种名为 “Stochastic Context Learning” 的新的训练过程。该模型可以灵活地将三个数字和 / 或一个令牌序列加入到生成过程中，展示了在单一和多条件有机分子生成方面的熟练处理能力，使得 LLamol 成为一个易于扩展新属性的全新分子设计工具。
发现论文，激发创造
  • LDMol：基于文本条件的分子扩散模型，利用化学信息的潜在空间

    LDMol 是一种新颖的潜在扩散模型，能够实现自然语言条件下的分子生成，并通过对比学习策略来提取化学信息特征空间，不仅在文本到分子生成基准测试中超过现有基准，还能进行零样本推理和相关任务如分子到文本检索和以文本为驱动的分子编辑，展示了它作为扩散模型的通用性。

    May, 2024

  • GP-MoLFormer: 分子生成的基础模型

    训练数据记忆和新颖性受训练数据质量影响；GP-MoLFormer 可用于生成新颖、有效且独特的分子；在三个不同任务上，GP-MoLFormer 表现良好或相当，展示了它的通用性。

    Apr, 2024

  • LlaSMol：通过大规模、综合、高质量的指导调整数据集推进化学领域的大型语言模型

    我们研究了基于 SMolInstruct 数据集进行 fine-tune 的大型语言模型在化学任务上表现出色，特别是 Mistral 模型，同时，我们还分析了可训练参数的影响，为未来的研究提供了一些见解。

    Feb, 2024

  • DrugLLM：用於少樣品分子生成的開放式大型語言模型

    DrugLLM 是一个专门用于药物设计的大型语言模型，在训练过程中使用基于群组的分子表示（GMR）来表示分子，通过预测基于过去修饰的下一个分子来学习如何修改分子，在有限的示例基础上生成具有期望特性的新分子，并具有强大的少样本分子生成能力。

    May, 2024

  • 分子语言模型作为多任务生成器

    本文提出了一个经过预训练的分子语言模型 MolGen，通过多任务分子前缀调整自我反馈机制，可以在多个分子生成任务和不同领域（合成和天然产物）中有效地学习和共享知识，进而在众多分子生成基准数据集上获得优越性能。

    Jan, 2023

  • LAMOL: 面向终身语言学习的语言建模

    LAMOL 是一种基于语言建模的简单而有效的终身语言学习方法，使模型能够解决并生成训练样本，可以在没有额外内存或模型容量的情况下重新播放以前任务的伪样本以预防灾难性遗忘，并以显著优于早期方法的优势表现出色，仅比多任务差 2-3％作为终身学习的上限。

    Sep, 2019

  • Tx-LLM: 大型药物治疗语言模型

    开发疗法是一个漫长而昂贵的过程，需要满足许多不同的标准，而能够加快这个过程的人工智能模型将是无价之宝。这篇论文介绍了 Tx-LLM，它是一个通用的大型语言模型，从 PaLM-2 中细调，能够编码关于不同治疗模式的知识，并在药物发现领域的多个阶段上同时进行预测，从而具有竞争力的性能。我们相信 Tx-LLM 是向编码生化知识的 LLMs 迈出的重要一步，未来可能成为整个药物发现开发过程中的一种端到端工具。

    Jun, 2024

  • 基于 Transformer 的强化学习的分子全新设计

    我们介绍了一种用于分子全新设计的 Transformer 基准生成模型的微调方法，利用 Transformer 相比循环神经网络 (RNNs) 的优越序列学习能力，我们的模型可以有效地生成具有期望属性的分子结构。与传统的基于 RNN 的模型相比，我们提出的方法在生成被预测为对多种生物目标活性化合物方面表现出优秀性能，捕捉分子结构序列中的长期依赖关系。通过生成查询结构的类似物和产生具有特定属性的化合物等多项任务的验证，我们的方法在性能上优于基准的基于 RNN 的方法。我们的方法可用于脱轴融合 (scaffold hopping)，从单个分子开始的库扩展，以及生成对生物目标具有高预测活性的化合物。

    Oct, 2023

  • 化学 LLM: 一种化学大型语言模型

    ChemLLM 是第一个专门用于化学领域的大型语言模型，通过使用结构化化学知识构建对话系统，能够在化学学科中顺畅交互完成各种任务，包括名称转换、分子标题和反应预测，并在相关数学和物理任务中展现出出色的适应性。

    Feb, 2024

  • MolX: 使用多模态扩展增强大型语言模型在分子学习中的能力

    本研究设计和装备 MolX 作为一种多模态外部模块，通过使用特定编码器从 SMILES 字符串和 2D 分子图表示中提取细粒度特征，从而增强了大型语言模型（LLMs）在理解分子方面的能力。实验结果表明，我们提出的方法在多种分子相关任务中表现出色，包括从分子到文本的翻译和分子的逆合成，无论是否对 LLM 进行微调。

    Jun, 2024