torchgfn:PyTorch GFlowNet 库
生成流网络(GFlowNets,GFNs)是一种生成式框架,用于学习离散空间上的非归一化概率质量函数。我们通过实证验证了 GFlowNets 的一些泛化机制假设,发现它们学习逼近的函数具有隐含的结构,有利于泛化。同时,我们还发现 GFlowNets 对离线和离策略训练非常敏感,但是 GFlowNets 隐含学习到的奖励对训练分布的变化具有鲁棒性。
Feb, 2024
深度学习在药物发现中是一种有效的工具,具有在预测模型和生成模型中的潜在应用。本文介绍了双生成流网络(double GFlowNets,DGFNs),这是一种能够生成多样化候选物分子的方法。通过引入强化学习和双深度 Q 学习的概念,我们在采样轨迹时使用了目标网络,并利用这些采样轨迹更新主网络。实证结果表明,DGFNs 有效地增强了在稀疏奖励领域和高维状态空间中的探索能力,这是药物发现中崭新设计的具有挑战性的方面。
Oct, 2023
我们提出了一种名为进化引导生成流网络(EGFN)的方法,通过使用进化算法(EA)对一组代理参数进行训练,将得到的轨迹存储在优先级回放缓冲区中,并使用存储的轨迹训练 GFlowNets 代理,以有效地训练 GFlowNets 模型在处理长轨迹和稀疏奖励时的挑战。通过广泛的玩具和真实世界基准任务的深入研究,我们展示了我们的方法在处理长轨迹和稀疏奖励时的有效性。
Feb, 2024
Order-Preserving GFlowNets (OP-GFNs) are proposed to sample candidates in proportion to a learned reward function consistent with a given order, eliminating the need for a predefined scalar reward in tasks like multi-objective optimization, and it is proven to concentrate on higher hierarchy candidates, achieving state-of-the-art performance in various tasks.
Sep, 2023
发展了一种无监督预训练的 GFlowNets 方法,通过预训练 OC-GFN 模型,可以在下游任务中直接提取适应新奖励函数的策略,并证明了该方法在发现模式和适应下游任务方面的有效性。
Oct, 2023
通过在化学反应空间中操作,将生成模型扩展到小分子发现中,从而增加了搜索空间的大小,并保持候选分子生成的可合成性,同时对于预训练代理模型和 GPU 加速对接等多个 Oracle 模型都具有良好的表现。
Jun, 2024
本文提出了一种基于多臂赌博机思想的贝叶斯技术算法(TS-GFN),将训练过程中的轨迹选择视为主动学习问题,从学习策略的近似后验分布中采样轨迹来提高探索效率,进而比过去的离线探索策略更快地收敛至目标分布,在两个领域的实验中证明了其优越性。
Jun, 2023
本文提出了一种基于能量的生成流网络 (EB-GFN) 概率建模算法,该算法通过随机构造数据策略来建模生成过程,并将昂贵的 MCMC 探索在从 GFlowNet 中采样的固定数量的操作中分摊开来。我们展示了 GFlowNet 如何近似执行大块 Gibbs 采样以在多个模式之间混合。我们提出了一个框架,共同训练 GFlowNet 与能量函数,使 GFlowNet 学习从能量分布中采样,而能量则通过从 GFlowNet 中获得负样本的近似 MLE 目标进行学习。我们展示了 EB-GFN 在各种概率建模任务中的有效性。
Feb, 2022