通过深度强化学习优化分子

Oct, 2018

Optimization of Molecules via Deep Reinforcement Learning

Zhenpeng Zhou, Steven Kearnes, Li Li, Richard N. Zare, Patrick Riley

TL;DR本文提出了一种名为 Molecule Deep Q-Networks（MolDQN）的框架，通过融合化学领域知识和最先进的强化学习技术（双 Q 学习和随机化价值函数）进行分子优化，直接修改分子以确保 100％的化学有效性，并通过多目标强化学习扩展模型以同时最大化药物样本度和维持原始分子与优化后分子的相似性，通过展示化学空间中的路径来帮助理解模型的工作方式。

Abstract

We present a framework, which we call Molecule Deep $Q$-Networks (MolDQN), for molecule optimization by combining domain knowledge of chemistry and state-of-the-art reinforcement learning techniques (double $Q$-learning and randomized value functions). We directly define modifications

molecule deep q-networks reinforcement learning chemistry optimization drug-likeness chemical space

发现论文，激发创造

强化学习在以量子力学为导向的分子设计中的应用

本文提出了一种新颖的基于强化学习的分子设计方式，使用笛卡尔坐标系来扩展分子结构类型，并利用快速量子化学方法对基本物理性质（如能量）进行直接奖励函数的构建。同时，引入了名为 MolGym 的强化学习环境，在该环境中针对多种具有挑战性的分子设计任务成功展开实验，并在此基础上，构建出一种翻译及旋转不变的状态空间，实现了从零开始的高效学习。

Feb, 2020

分布式强化学习在分子设计中的应用：抗氧化剂案例

DA-MolDQN 是一个分布式强化学习算法，结合了深度强化学习和关键化学属性，用于优化抗氧化剂，其训练时间较之前的算法快 100 倍，能够从专有和公共抗氧化剂中发现新的优化分子。

Dec, 2023

通过强化学习进行基于蛋白质靶点特异性支架抑制剂的设计

本文提出了一种新颖的框架，名为 3D-MolGNN$_{RL}$，结合了强化学习和基于 3D 骨架的深层生成模型，在优化多个特征的同时，通过并行图神经网络模型自动构建具有特定蛋白质活性的靶向分子，以使药物研发中的分子设计更快更高效。

May, 2022

基于强化学习的可扩展基于碎片的三维分子设计

本文提出了一种基于强化学习框架的分层代理方法，能够在三维空间中逐步放置分子亚结构，从而高效地学习如何建造具有不同分布的分子，包括药物样分子、有机发光二极管分子和生物分子，只利用能量考虑即可。

Feb, 2022

探索化学空间的好奇心：深度分子强化学习的内在奖励

本研究提出了一种灵感来源于好奇心的算法来帮助增强学习智能体在化学空间中实现高效探索，并在三个基准测试中展示了好奇心智能体可以找到表现更好的分子。这可能将带来出人意料的新分子，从而打破药物和材料发现领域。

Dec, 2020

通过强化学习对语言模型进行微调以提升精确目标分子生成

本研究采用创新的全新药物设计策略，利用语言模型的能力为特定蛋白质设计有针对性的药物。我们采用强化学习框架和近端策略优化对模型进行优化，获得生成适用于蛋白质靶点的药物的策略。通过融合药物 - 靶点相互作用和分子有效性的综合奖励函数，我们的方法经过强化学习的微调展现出很大的潜力，在分子有效性、相互作用效果和关键化学特性方面实现了显著的改进，分别达到了 65.37 的药物热似度定量评估（QED）、321.55 的分子量（MW）和 4.47 的辛醇 - 水分配系数 (logP)。此外，在生成的药物中，仅有 0.041% 没有新颖性。

May, 2024

深度强化学习用于 De-Novo 药物设计

该论文提出了一种新的计算策略，名为 ReLeaSE（增强学习结构进化），通过深度学习和强化学习的方法，利用生成模型和预测模型生成具有预设属性的新型化合物库，此方法可用于生成具有单一或多个属性的有针对性的化合物库。

Nov, 2017

利用强化学习和变形金刚搜索高价值分子

通过对不同的文本语法设计和训练算法选择进行广泛的实验，我们提出了一种新的基于强化学习的分子设计算法（ChemRLformer），并通过对 25 个分子设计任务的深入分析，包括计算复杂的蛋白质对接模拟，发现了这个问题领域的独特见解，并展示了 ChemRLformer 在文本分子设计中所取得的最新成果，同时还揭示了哪些设计选择对于文本分子设计实际上有帮助。

Oct, 2023

深度强化学习的分子全新设计

本文介绍了一种基于序列的生成模型来设计分子的方法，通过增强情节似然性可以学习生成具有某些指定的理想特性的结构。将模型应用于生成类似物质结构，生成与药物 Celecoxib 类似的分子以及具有活性的化合物。最后，将模型调整为生成预测对多巴胺受体 2 具有活性的化合物，得到了 95% 以上的预测为活性的结构，其中包括实验证实的活性化合物。

Apr, 2017

自适应内在奖励的分子强化学习用于目标导向的分子生成

Mol-AIR 是一种基于强化学习和自适应内在奖励的分子生成方法，通过结合深度生成模型和增强学习来有效地生成具有特定性质的分子结构，优于现有方法在无先验知识的情况下生成具有期望性质的分子。

Mar, 2024