Dec, 2023
AdsorbRL：逆催化剂设计的深度多目标强化学习
AdsorbRL: Deep Multi-Objective Reinforcement Learning for Inverse Catalysts Design
Romain Lacombe, Lucas Hendren, Khalid El-Awady
TL;DR在清洁能源转型中，开发用于低排放技术的催化剂是一个核心挑战。本文介绍了 AdsorbRL，一种基于深度强化学习的代理机制，旨在通过离线学习 Open Catalyst 2020 和 Materials Project 数据集来识别潜在的催化剂，以达到多目标结合能目标。我们实验了 Deep Q-Network 代理机制，通过基于仅在 2,000 至 3,000 个催化剂吸附能已知的非常稀疏的奖励，遍历了 55 种化学元素的大约 160,000 种可能的一元、二元和三元化合物空间。为了限制行动空间，我们引入了随机边遍历，并在已知状态子图上训练了一个单目标 DQN 代理机制，发现目标结合能平均提高了 4.1 个电子伏特。我们将这种方法延伸到多目标、目标条件学习，并训练了一个 DQN 代理机制，以找到多个目标吸附物的具有最高（或最低）吸附能量的材料。我们实验了一种新的训练方案，称为 Objective Sub-Sampling，旨在鼓励在多目标设置中进行探索，并证明了在所有目标吸附物上同时提高吸附能平均 0.8 个电子伏特。总体而言，我们的结果表明，将深度强化学习应用于反向催化剂设计问题具有很大的潜力。