Nov, 2023

ReactionT5：大规模预训练模型用于有限反应数据的应用

PDF
TL;DR利用深度神经网络中的基于 Transformer 的方法，在分子相关的预测任务中，通过将分子视为符号序列，解决了多种有机化学应用问题，并利用公开资源 Open Reaction Database (ORD) 对预训练进行了改进，进一步通过有限的微调数据展示了预训练模型的出色性能，ReactionT5 模型的预训练模型在 Hugging Face 平台上公开可用。
transformer-based deep neural networksmolecular-related prediction taskspretrainingreactiont5open reaction database
发现论文，激发创造
  • 使用反应预测预训练变形金刚进行分子属性预测

    本文旨在使用反应数据进行预训练分子表示的过程，运用在 MoleculeNet 的 12 个分子属性预测任务上，结果显著地提高了预测模型的表现。

    Jul, 2022

  • 有机反应预测的专用和分析型指令调整和字节级语言模型

    通过该论文的系统经验研究，我们评估了基于 Transformer 编码器 - 解码器模型 FlanT5 和 ByT5 在有机反应预测中的影响，为将这些最先进的语言模型更有效地用于化学相关任务提供了指导。

    May, 2024

  • ReactXT：通过反应上下文化的分子 - 文本预训练理解分子之 “反应关系

    分子 - 文本建模是一个新兴的研究方向，旨在通过文本界面和文本知识促进与分子相关的任务。针对单个分子之外，研究反应 - 文本建模对于帮助合成新材料和药物具有潜力，然而，以往的研究大多忽视了反应 - 文本建模。为了解决这些挑战，我们提出了一种新的预训练方法 ReactXT，用于反应 - 文本建模，并提供了一个新的数据集 OpenExp，用于实验过程预测。我们的方法在实验过程预测、分子字幕生成和逆向合成方面表现出一致的改进，并取得了竞争性的结果。

    May, 2024

  • 分子变压器 - 一种用于化学反应不确定性校准的模型

    本文旨在提高有机合成中的反应预测的准确性，通过使用多头注意力分子变压器模型，能够在保持普适性的基础上，取得 90% 以上的前 1 准确率和 89% 的准确的不确定性估计得分，而无需手工制定规则。

    Nov, 2018

  • 翻译中的发现”：使用神经序列到序列模型预测复杂有机化学反应的结果

    该研究介绍了一种基于序列到序列模型的无模板反应预测方法，使用一种新型的可扩展标记方法，不涉及反应模板等辅助知识，达到了 80.1% 的准确率，其核心思想是运用语言学分析的思维方式来解决有机化学问题。

    Nov, 2017

  • 学习制作具有普适性和多样性的回溯合成预测

    提出新模型用于反合成预测，在美国专利文献数据集上通过序列到序列及离散潜在变量方法构建预测模型较基准模型性能显著提高同时生成更多多样性化预测结果。

    Oct, 2019

  • 跨不同化学领域的迁移学习：利用在小分子和化学反应数据上预训练的深度学习模型进行有机材料的虚拟筛选

    使用机器学习预测有机材料属性是一种高效的虚拟筛选方法，本研究证明药物类小分子和化学反应数据库可用于预训练 BERT 模型以进行有机材料的虚拟筛选，并展示了其在机器学习模型训练中的优越性能，进一步加强了跨不同化学领域的迁移学习在有机材料的虚拟筛选中的可行性。

    Nov, 2023

  • 神经序列到序列模型在反合成反应预测中的应用

    本论文讲述了一种完全基于数据驱动的模型，该模型学习执行一个反合成反应预测任务，将其作为序列到序列映射问题来处理。该模型为端到端的训练模型，具有编码器 - 解码器结构，包含两个递归神经网络，该模型通过对美国专利文献中的 50,000 个实验反应示例进行训练，拥有解决计算机反应分析的挑战性问题的重要前进一步。

    Jun, 2017

  • ChemBERTa-2：面向化学基础模型的发展

    本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

    Sep, 2022

  • 分子与自然语言的翻译

    $\textbf {MolT5}$ 是一个自监督学习框架，可用于对大量未标记的自然语言文本和分子字符串进行预训练，允许新的、有用的和具有挑战性的类比于传统的视觉语言任务。

    Apr, 2022