Jan, 2023

分子语言模型作为多任务生成器

PDF
TL;DR本文提出了一个经过预训练的分子语言模型 MolGen，通过多任务分子前缀调整自我反馈机制，可以在多个分子生成任务和不同领域（合成和天然产物）中有效地学习和共享知识，进而在众多分子生成基准数据集上获得优越性能。
molgenmolecular generationdeep generative modelschemical languagemulti-task molecular prefix tuning
发现论文，激发创造
  • 利用多任务语言建模统一分子和文本表示

    提出了一种多领域、多任务的语言模型，能够处理化学和自然语言，并共享模型参数来优化实验室操作和科学发现加速。

    Jan, 2023

  • 分子与自然语言的翻译

    $\textbf {MolT5}$ 是一个自监督学习框架，可用于对大量未标记的自然语言文本和分子字符串进行预训练，允许新的、有用的和具有挑战性的类比于传统的视觉语言任务。

    Apr, 2022

  • GP-MoLFormer: 分子生成的基础模型

    训练数据记忆和新颖性受训练数据质量影响；GP-MoLFormer 可用于生成新颖、有效且独特的分子；在三个不同任务上，GP-MoLFormer 表现良好或相当，展示了它的通用性。

    Apr, 2024

  • 基於深度生成模型的條件分子設計

    本文提出了一种半监督变分自编码器模型，能够同时进行属性预测和分子生成，从而高效生成具有所需属性的新分子。我们从估计好的生成分布中进行采样以生成新的分子，并在药物样分子上证明了该模型的有效性、改进了属性预测的性能，并高效生成满足各种目标条件的新型分子。

    Apr, 2018

  • MolX: 使用多模态扩展增强大型语言模型在分子学习中的能力

    本研究设计和装备 MolX 作为一种多模态外部模块，通过使用特定编码器从 SMILES 字符串和 2D 分子图表示中提取细粒度特征，从而增强了大型语言模型（LLMs）在理解分子方面的能力。实验结果表明，我们提出的方法在多种分子相关任务中表现出色，包括从分子到文本的翻译和分子的逆合成，无论是否对 LLM 进行微调。

    Jun, 2024

  • 利用语言模型和领域相关辅助任务进行分子表示学习

    本文采用 Transformer 结构，具体为 BERT，来学习灵活高质量的分子表示，从预训练使用不同组合的自监督任务的影响、到提高所学表示的领域相关性，最终提高了我们模型 MolBert 在基准数据集上的性能，显示其在药物发现方面具有良好的应用前景。

    Nov, 2020

  • ChemBERTa-2：面向化学基础模型的发展

    本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

    Sep, 2022

  • 分子生成的数据有效图形语法学习

    本文提出了一种数据效率的生成模型，其核心是可学习的图形语法，能够从比常规基准小几个数量级的数据集中学习，生成高质量的分子。

    Mar, 2022

  • 教师 - 学生大型语言模型使用多约束分子生成指导

    提出了一种多约束分子生成大型语言模型（TSMMG），通过提取多个 “教师” 模型和工具的分子知识构建大量的文本 - 分子对，实现了生成符合各种文本提示描述的新型分子。TSMMG 在生成满足复杂的自然语言描述的化学属性要求的分子方面表现出色，平均分子有效性超过 99％，成功比率分别为 88.08％，65.27％和 61.44％。该模型还具有零 - shot 测试的适应性，可以生成满足尚未遇到的属性组合的分子，并且可以处理具有不同语言风格的文本输入。TSMMG 的知识蒸馏功能对小模型的持续增强起到了积极的作用，并且创新的数据集构建方法有效解决了数据稀缺和质量问题，使其成为药物发现和材料科学领域的有 promising 工具。

    Mar, 2024

  • 通过潜在空间融合提高分子属性预测

    本文提出了一种多视图方法，将来自最先进化学模型的潜在空间进行结合，其中使用了基于 MHG-GNN 的嵌入（将分子结构表示为图形）和根植于化学语言的 MoLFormer 嵌入。我们通过在六个基准数据集上评估该方法，证明了我们所提出的多视图方法在预测临床试验药物毒性和抑制 HIV 复制等复杂任务上，优于现有的最先进方法，包括在 11 亿个分子上进行训练的 MoLFormer-XL。研究结果突显了潜在空间融合和特征整合在推进分子属性预测方面的潜力。

    Oct, 2023