利用强化学习和变形金刚搜索高价值分子

Oct, 2023

利用强化学习和变形金刚搜索高价值分子

Searching for High-Value Molecules Using Reinforcement Learning and Transformers

Raj Ghugare, Santiago Miret, Adriana Hugessen, Mariano Phielipp, Glen Berseth

TL;DR通过对不同的文本语法设计和训练算法选择进行广泛的实验，我们提出了一种新的基于强化学习的分子设计算法（ChemRLformer），并通过对 25 个分子设计任务的深入分析，包括计算复杂的蛋白质对接模拟，发现了这个问题领域的独特见解，并展示了 ChemRLformer 在文本分子设计中所取得的最新成果，同时还揭示了哪些设计选择对于文本分子设计实际上有帮助。

Abstract

reinforcement learning (RL) over text representations can be effective for finding high-value policies that can search over graphs. However, RL requires careful structuring of the search space and →

reinforcement learning text representations algorithm design molecular design algorithm state-of-the-art performance

发现论文，激发创造

强化学习在以量子力学为导向的分子设计中的应用

本文提出了一种新颖的基于强化学习的分子设计方式，使用笛卡尔坐标系来扩展分子结构类型，并利用快速量子化学方法对基本物理性质（如能量）进行直接奖励函数的构建。同时，引入了名为 MolGym 的强化学习环境，在该环境中针对多种具有挑战性的分子设计任务成功展开实验，并在此基础上，构建出一种翻译及旋转不变的状态空间，实现了从零开始的高效学习。

Feb, 2020

基于强化学习的可扩展基于碎片的三维分子设计

本文提出了一种基于强化学习框架的分层代理方法，能够在三维空间中逐步放置分子亚结构，从而高效地学习如何建造具有不同分布的分子，包括药物样分子、有机发光二极管分子和生物分子，只利用能量考虑即可。

Feb, 2022

基于 Transformer 的强化学习的分子全新设计

我们介绍了一种用于分子全新设计的 Transformer 基准生成模型的微调方法，利用 Transformer 相比循环神经网络 (RNNs) 的优越序列学习能力，我们的模型可以有效地生成具有期望属性的分子结构。与传统的基于 RNN 的模型相比，我们提出的方法在生成被预测为对多种生物目标活性化合物方面表现出优秀性能，捕捉分子结构序列中的长期依赖关系。通过生成查询结构的类似物和产生具有特定属性的化合物等多项任务的验证，我们的方法在性能上优于基准的基于 RNN 的方法。我们的方法可用于脱轴融合 (scaffold hopping)，从单个分子开始的库扩展，以及生成对生物目标具有高预测活性的化合物。

Oct, 2023

探索化学空间的好奇心：深度分子强化学习的内在奖励

本研究提出了一种灵感来源于好奇心的算法来帮助增强学习智能体在化学空间中实现高效探索，并在三个基准测试中展示了好奇心智能体可以找到表现更好的分子。这可能将带来出人意料的新分子，从而打破药物和材料发现领域。

Dec, 2020

通过强化学习进行基于蛋白质靶点特异性支架抑制剂的设计

本文提出了一种新颖的框架，名为 3D-MolGNN$_{RL}$，结合了强化学习和基于 3D 骨架的深层生成模型，在优化多个特征的同时，通过并行图神经网络模型自动构建具有特定蛋白质活性的靶向分子，以使药物研发中的分子设计更快更高效。

May, 2022

ChemGymRL: 数字化学强化学习的交互式框架

该研究提供了一个基于 Open AI Gym 模板的高度可定制和开源的 RL 环境，ChemGymRL，以支持在化学发现中训练 RL 代理，通过使用一系列互连的虚拟化学试验台。研究介绍了这些试验台，并在其中训练了一组标准 RL 算法，最后提供了多个标准 RL 方法的性能讨论和比较以及未来工作的发展方向列表作为 ChemGymRL 的远景。

May, 2023

通过强化学习对语言模型进行微调以提升精确目标分子生成

本研究采用创新的全新药物设计策略，利用语言模型的能力为特定蛋白质设计有针对性的药物。我们采用强化学习框架和近端策略优化对模型进行优化，获得生成适用于蛋白质靶点的药物的策略。通过融合药物 - 靶点相互作用和分子有效性的综合奖励函数，我们的方法经过强化学习的微调展现出很大的潜力，在分子有效性、相互作用效果和关键化学特性方面实现了显著的改进，分别达到了 65.37 的药物热似度定量评估（QED）、321.55 的分子量（MW）和 4.47 的辛醇 - 水分配系数 (logP)。此外，在生成的药物中，仅有 0.041% 没有新颖性。

May, 2024

使用强化学习学习如何导航合成可达的化学空间

本研究提出了一种基于增强学习框架的新型前向合成模型 (PGFS)，可以解决化学分子结构的可合成性和合成路线问题，该模型可以为机器学习的药物设计提供一个有挑战性的基础测试平台。

Apr, 2020

通过深度强化学习优化分子

本文提出了一种名为 Molecule Deep Q-Networks（MolDQN）的框架，通过融合化学领域知识和最先进的强化学习技术（双 Q 学习和随机化价值函数）进行分子优化，直接修改分子以确保 100％的化学有效性，并通过多目标强化学习扩展模型以同时最大化药物样本度和维持原始分子与优化后分子的相似性，通过展示化学空间中的路径来帮助理解模型的工作方式。

Oct, 2018

具有邻域控制语法的强化分子优化

该研究提出了一个新的分子优化方法，通过一种基于图卷积策略网络的强化学习算法和语法来有效地生成分子结构并优化其性质，其在大量分子优化任务中达到了最先进的性能。

Nov, 2020