分布式强化学习在分子设计中的应用:抗氧化剂案例
本文提出了一种名为 Molecule Deep Q-Networks(MolDQN)的框架,通过融合化学领域知识和最先进的强化学习技术(双 Q 学习和随机化价值函数)进行分子优化,直接修改分子以确保 100%的化学有效性,并通过多目标强化学习扩展模型以同时最大化药物样本度和维持原始分子与优化后分子的相似性,通过展示化学空间中的路径来帮助理解模型的工作方式。
Oct, 2018
本文提出了一种新颖的基于强化学习的分子设计方式,使用笛卡尔坐标系来扩展分子结构类型,并利用快速量子化学方法对基本物理性质(如能量)进行直接奖励函数的构建。同时,引入了名为 MolGym 的强化学习环境,在该环境中针对多种具有挑战性的分子设计任务成功展开实验,并在此基础上,构建出一种翻译及旋转不变的状态空间,实现了从零开始的高效学习。
Feb, 2020
本文介绍了一种基于序列的生成模型来设计分子的方法,通过增强情节似然性可以学习生成具有某些指定的理想特性的结构。将模型应用于生成类似物质结构,生成与药物 Celecoxib 类似的分子以及具有活性的化合物。最后,将模型调整为生成预测对多巴胺受体 2 具有活性的化合物,得到了 95% 以上的预测为活性的结构,其中包括实验证实的活性化合物。
Apr, 2017
本文提出了一种基于强化学习框架的分层代理方法,能够在三维空间中逐步放置分子亚结构,从而高效地学习如何建造具有不同分布的分子,包括药物样分子、有机发光二极管分子和生物分子,只利用能量考虑即可。
Feb, 2022
本文提出了一种新颖的框架,名为 3D-MolGNN$_{RL}$,结合了强化学习和基于 3D 骨架的深层生成模型,在优化多个特征的同时,通过并行图神经网络模型自动构建具有特定蛋白质活性的靶向分子,以使药物研发中的分子设计更快更高效。
May, 2022
该论文提出了一种新的计算策略,名为 ReLeaSE(增强学习结构进化),通过深度学习和强化学习的方法,利用生成模型和预测模型生成具有预设属性的新型化合物库,此方法可用于生成具有单一或多个属性的有针对性的化合物库。
Nov, 2017
通过引入 MolRL-MGPT 这一具备多个 GPT 代理的强化学习算法,我们提出了一种全新的药物分子生成方式,以促进分子多样性并在设计 SARS-CoV-2 蛋白靶向抑制剂方面展现出良好的成效。
Dec, 2023
Mol-AIR 是一种基于强化学习和自适应内在奖励的分子生成方法,通过结合深度生成模型和增强学习来有效地生成具有特定性质的分子结构,优于现有方法在无先验知识的情况下生成具有期望性质的分子。
Mar, 2024
在清洁能源转型中,开发用于低排放技术的催化剂是一个核心挑战。本文介绍了 AdsorbRL,一种基于深度强化学习的代理机制,旨在通过离线学习 Open Catalyst 2020 和 Materials Project 数据集来识别潜在的催化剂,以达到多目标结合能目标。我们实验了 Deep Q-Network 代理机制,通过基于仅在 2,000 至 3,000 个催化剂吸附能已知的非常稀疏的奖励,遍历了 55 种化学元素的大约 160,000 种可能的一元、二元和三元化合物空间。为了限制行动空间,我们引入了随机边遍历,并在已知状态子图上训练了一个单目标 DQN 代理机制,发现目标结合能平均提高了 4.1 个电子伏特。我们将这种方法延伸到多目标、目标条件学习,并训练了一个 DQN 代理机制,以找到多个目标吸附物的具有最高(或最低)吸附能量的材料。我们实验了一种新的训练方案,称为 Objective Sub-Sampling,旨在鼓励在多目标设置中进行探索,并证明了在所有目标吸附物上同时提高吸附能平均 0.8 个电子伏特。总体而言,我们的结果表明,将深度强化学习应用于反向催化剂设计问题具有很大的潜力。
Dec, 2023
我们介绍了一种用于分子全新设计的 Transformer 基准生成模型的微调方法,利用 Transformer 相比循环神经网络 (RNNs) 的优越序列学习能力,我们的模型可以有效地生成具有期望属性的分子结构。与传统的基于 RNN 的模型相比,我们提出的方法在生成被预测为对多种生物目标活性化合物方面表现出优秀性能,捕捉分子结构序列中的长期依赖关系。通过生成查询结构的类似物和产生具有特定属性的化合物等多项任务的验证,我们的方法在性能上优于基准的基于 RNN 的方法。我们的方法可用于脱轴融合 (scaffold hopping),从单个分子开始的库扩展,以及生成对生物目标具有高预测活性的化合物。
Oct, 2023