GFlowNets 和变分推断
生成流网络(GFlowNets,GFNs)是一种生成式框架,用于学习离散空间上的非归一化概率质量函数。我们通过实证验证了 GFlowNets 的一些泛化机制假设,发现它们学习逼近的函数具有隐含的结构,有利于泛化。同时,我们还发现 GFlowNets 对离线和离策略训练非常敏感,但是 GFlowNets 隐含学习到的奖励对训练分布的变化具有鲁棒性。
Feb, 2024
探讨了深度生成模型和 GFlowNet 框架之间的关系,从 Markovian 规划的角度提供了训练和推理算法统一的方式,并给出了实践验证的优化建议。
Sep, 2022
本研究提出了一种称为 DAG-GFlowNet 的方法,使用 Generative Flow Networks 代替 MCMC 来近似推断 Bayesian 网络结构的后验分布。实验结果表明,DAG-GFlowNet 能够提供准确的 DAG 后验近似,并且相对于 MCMC 或变分推断等方法具有优势。
Feb, 2022
本文介绍了基于 GFlowNets 算法的生成模型策略,探究了如何在实际训练资源限制下实现更好的样本效率和匹配目标分布,提出了优先回放、相对边流策略参数化和新的引导轨迹平衡目标等方法来提高样本效率,有效解决了一些结构学分配问题。
May, 2023
本文提出了一种基于多臂赌博机思想的贝叶斯技术算法(TS-GFN),将训练过程中的轨迹选择视为主动学习问题,从学习策略的近似后验分布中采样轨迹来提高探索效率,进而比过去的离线探索策略更快地收敛至目标分布,在两个领域的实验中证明了其优越性。
Jun, 2023
生成流网络(GFlowNets)在多个结构化对象生成任务中取得成功,并扩展到包括蛋白质设计在内的随机环境,提出了预期流网络(EFlowNets)和对抗性流网络(AFlowNets)分别用于两人零和游戏,表明后者在 Connect 4 比赛中通过自对弈发现超过 80% 的最优移动,并超越 AlphaZero。
Oct, 2023
本文综述了现有算法之间的联系,包括广泛使用的变分自编码器、以对抗方式学习的推断、运算符变分推断、基于生成式对抗网络的图像重建等,提出了新的算法框架,并基于密度比估计或去噪等方法展示了实际的推断算法。
Feb, 2017
GFlowNets 是一种新型的基于流的方法,用于学习通过一系列动作以及与给定正向奖励成比例的概率来生成对象的随机策略。我们在放宽应用范围的前提下对 GFlowNets 的假设进行了改进,特别是解除了关于非环性的限制。为此,我们扩展了可测空间上的 GFlowNets 理论,其中包括了没有循环限制的连续状态空间,并在这个广义上下文中提供了循环的一般化。我们展示了迄今为止使用的损失函数会使流陷入循环,因此我们定义了一族能解决这个问题的损失函数。在图形和连续任务上进行的实验证实了这些原则。
Dec, 2023
我们提出了一种名为进化引导生成流网络(EGFN)的方法,通过使用进化算法(EA)对一组代理参数进行训练,将得到的轨迹存储在优先级回放缓冲区中,并使用存储的轨迹训练 GFlowNets 代理,以有效地训练 GFlowNets 模型在处理长轨迹和稀疏奖励时的挑战。通过广泛的玩具和真实世界基准任务的深入研究,我们展示了我们的方法在处理长轨迹和稀疏奖励时的有效性。
Feb, 2024
本文提出了一种名为 Quantile Matching 的新型 GFlowNet 学习算法,它采用了分布法来处理代理的激励波动性,并且对具有决定性的激励任务也有显著的改进。
Feb, 2023