改进 GFlowNets 使用蒙特卡罗树搜索
本文对 Generative Flow Networks 进行了形式化,并将其视为循环马尔科夫链状态空间下采样的一种方法,这一方法可以在不使用流动的情况下模拟复杂的多模态概率分布函数。
Jul, 2023
本文提出了一种基于多臂赌博机思想的贝叶斯技术算法(TS-GFN),将训练过程中的轨迹选择视为主动学习问题,从学习策略的近似后验分布中采样轨迹来提高探索效率,进而比过去的离线探索策略更快地收敛至目标分布,在两个领域的实验中证明了其优越性。
Jun, 2023
本文介绍了基于 GFlowNets 算法的生成模型策略,探究了如何在实际训练资源限制下实现更好的样本效率和匹配目标分布,提出了优先回放、相对边流策略参数化和新的引导轨迹平衡目标等方法来提高样本效率,有效解决了一些结构学分配问题。
May, 2023
最近提出的生成流网络(GFlowNets)是一种通过一系列操作,使策略从概率与给定奖励成比例的组合离散对象中采样的方法。我们的工作将强化学习和 GFlowNets 的联系扩展到一般情况,演示了如何将学习生成流网络的任务高效重新定义为具有特定奖励和正则化结构的熵正则化强化学习问题,并通过在几个概率建模任务上应用标准的软强化学习算法展示了这种改进的实际效率。与先前报告的结果相反,我们表明熵正则化强化学习方法可以与已建立的 GFlowNet 训练方法竞争。这一观点为将强化学习原理整合到生成流网络领域开辟了直接道路。
Oct, 2023
本文提出了利用 GFlowNets 与 Markov 决策过程相结合的方法,通过训练条件 GFlowNets 来采样解空间,并通过各种合成数据和真实数据模拟多种不同的组合问题。通过大量实验证明,GFlowNet 策略可以高效地找到高质量解。
May, 2023
本文提出了一种基于 GFlowNet 的生成策略来生成对象的方法,该方法将生成过程视为一种流动网络,并将一组轨迹转换为流动,并将流动一致性方程转换为学习目标,以实现训练时的搜索成本,从而提高了性能和多样性。
Jun, 2021
本研究提出了一种称为 DAG-GFlowNet 的方法,使用 Generative Flow Networks 代替 MCMC 来近似推断 Bayesian 网络结构的后验分布。实验结果表明,DAG-GFlowNet 能够提供准确的 DAG 后验近似,并且相对于 MCMC 或变分推断等方法具有优势。
Feb, 2022