ACLMay, 2024

ReactXT：通过反应上下文化的分子 - 文本预训练理解分子之 “反应关系

PDF
TL;DR分子 - 文本建模是一个新兴的研究方向，旨在通过文本界面和文本知识促进与分子相关的任务。针对单个分子之外，研究反应 - 文本建模对于帮助合成新材料和药物具有潜力，然而，以往的研究大多忽视了反应 - 文本建模。为了解决这些挑战，我们提出了一种新的预训练方法 ReactXT，用于反应 - 文本建模，并提供了一个新的数据集 OpenExp，用于实验过程预测。我们的方法在实验过程预测、分子字幕生成和逆向合成方面表现出一致的改进，并取得了竞争性的结果。
molecule-text modelingreaction-text modelingexperimental procedure predictionchemical synthesispretraining method
发现论文，激发创造
  • 预测化学结合文本检索

    本文研究了在化学领域中使用自然语言描述来增强预测模型。使用文献手动提取的大量结构化数据来训练化学信息模型是传统的方法。本文引入了一种新的方法 TextReact，该方法直接利用从文献中检索到的文本增强预测化学。TextReact 检索与给定化学反应相关的文本描述，然后将其与反应的分子表示进行对齐。通过在预测器训练中加入辅助的掩码语言模型目标，增强了这种对齐。我们通过两个化学任务进行了实证验证：反应条件推荐和一步逆合成。通过利用文本检索，TextReact 显著优于仅基于分子数据训练的最先进的化学信息模型。

    Dec, 2023

  • MolXPT：将文本与分子结合进行生成预训练

    本文提出了 MolXPT，一个基于 SMILES 的统一文本和分子预训练语言模型，将来自 PubMed 的文本序列和来自 PubChem 的 SMILES 序列一起进行预训练，并取得了超越强基线的性能。

    May, 2023

  • ReacLLaMA：化学反应 AI 模型中化学和文本信息的融合

    通过结合过程文本并使用两种主要方法（ReacLLaMA-Adapter 和 Zero-Shot Labeling ReacLLaMA），改进 Graphormer 反应模型的准确性，提高了对不良反应的辨别能力，从而提供了更准确的具有改进特异性的化学反应模型。

    Jan, 2024

  • ReactionT5：大规模预训练模型用于有限反应数据的应用

    利用深度神经网络中的基于 Transformer 的方法，在分子相关的预测任务中，通过将分子视为符号序列，解决了多种有机化学应用问题，并利用公开资源 Open Reaction Database (ORD) 对预训练进行了改进，进一步通过有限的微调数据展示了预训练模型的出色性能，ReactionT5 模型的预训练模型在 Hugging Face 平台上公开可用。

    Nov, 2023

  • 基于多模态分子结构文本模型的文本检索和编辑

    该研究介绍了一种新的多模态分子结构 - 文本模型 MoleculeSTM，它结合学习化学结构和文本描述，以有效利用化学领域中丰富的文本知识，同时提高药物设计的效率和创新能力，并在多个基准测试中获得了最先进的泛化能力。

    Dec, 2022

  • T-Rex: 文本辅助的合成逆向预测

    利用预训练文本语言模型（如 ChatGPT），我们提出了一个以文本辅助的逆合成预测方法 T-Rex，它通过生成目标分子的描述和分子图的结构来生成候选反应中心，并使用候选反应物的描述进行重新排序，从而更好地合成目标分子。通过对两个数据集的实验，我们观察到 T-Rex 明显优于基于图结构的最先进方法，在不仅使用重新排序步骤的 ChatGPT 描述的变体中 T-Rex 也表现出色，这表明我们的框架优于 ChatGPT 和图信息的简单集成方法。综上所述，我们展示了预训练语言模型生成的文本可以大大提高逆合成预测，为利用 ChatGPT 推进计算化学开辟了新的途径。

    Jan, 2024

  • 使用反应预测预训练变形金刚进行分子属性预测

    本文旨在使用反应数据进行预训练分子表示的过程，运用在 MoleculeNet 的 12 个分子属性预测任务上，结果显著地提高了预测模型的表现。

    Jul, 2022

  • PRESTO：渐进预训练改善合成化学结果

    PRESTO 是一种新的框架，通过集成全面的预训练策略和数据集配置，逐步改进多模式 LLM，并通过跨模态对齐和多图理解来弥合分子 - 文本形态差距，从而在合成化学任务中提供了竞争性的结果。

    Jun, 2024

  • 翻译中的发现”：使用神经序列到序列模型预测复杂有机化学反应的结果

    该研究介绍了一种基于序列到序列模型的无模板反应预测方法，使用一种新型的可扩展标记方法，不涉及反应模板等辅助知识，达到了 80.1% 的准确率，其核心思想是运用语言学分析的思维方式来解决有机化学问题。

    Nov, 2017

  • MolX: 使用多模态扩展增强大型语言模型在分子学习中的能力

    本研究设计和装备 MolX 作为一种多模态外部模块，通过使用特定编码器从 SMILES 字符串和 2D 分子图表示中提取细粒度特征，从而增强了大型语言模型（LLMs）在理解分子方面的能力。实验结果表明，我们提出的方法在多种分子相关任务中表现出色，包括从分子到文本的翻译和分子的逆合成，无论是否对 LLM 进行微调。

    Jun, 2024