AAAIDec, 2023

非循环生成流网络的理论

PDF
TL;DRGFlowNets 是一种新型的基于流的方法，用于学习通过一系列动作以及与给定正向奖励成比例的概率来生成对象的随机策略。我们在放宽应用范围的前提下对 GFlowNets 的假设进行了改进，特别是解除了关于非环性的限制。为此，我们扩展了可测空间上的 GFlowNets 理论，其中包括了没有循环限制的连续状态空间，并在这个广义上下文中提供了循环的一般化。我们展示了迄今为止使用的损失函数会使流陷入循环，因此我们定义了一族能解决这个问题的损失函数。在图形和连续任务上进行的实验证实了这些原则。
gflownetsflow-based methodstochastic policyobjects generationgeneralization of cycles
发现论文，激发创造
  • 探究与改进 GFlowNet 的训练

    本文介绍了基于 GFlowNets 算法的生成模型策略，探究了如何在实际训练资源限制下实现更好的样本效率和匹配目标分布，提出了优先回放、相对边流策略参数化和新的引导轨迹平衡目标等方法来提高样本效率，有效解决了一些结构学分配问题。

    May, 2023

  • 基于流网络的生成模型用于非迭代多样候选生成

    本文提出了一种基于 GFlowNet 的生成策略来生成对象的方法，该方法将生成过程视为一种流动网络，并将一组轨迹转换为流动，并将流动一致性方程转换为学习目标，以实现训练时的搜索成本，从而提高了性能和多样性。

    Jun, 2021

  • 探索生成流网络的泛化行为

    生成流网络（GFlowNets，GFNs）是一种生成式框架，用于学习离散空间上的非归一化概率质量函数。我们通过实证验证了 GFlowNets 的一些泛化机制假设，发现它们学习逼近的函数具有隐含的结构，有利于泛化。同时，我们还发现 GFlowNets 对离线和离策略训练非常敏感，但是 GFlowNets 隐含学习到的奖励对训练分布的变化具有鲁棒性。

    Feb, 2024

  • GFlowCausal: 用于因果发现的生成式流网络

    提出了一种名为 GFlowCausal 的新方法，通过逐步添加直接边将图搜索问题转变为生成问题，从而从观测数据中学习一个有向无环图 (DAG)，并使用基于可传递闭包的即插即用模块确保高效的采样，理论分析表明，此模块能够有效地保证无环特性和最终状态与完全连接图之间的一致性，实验结果表明该方法具有显著优势，并且在大规模设置下也表现良好。

    Oct, 2022

  • 随机环境下的预期流网络与两人零和游戏

    生成流网络（GFlowNets）在多个结构化对象生成任务中取得成功，并扩展到包括蛋白质设计在内的随机环境，提出了预期流网络（EFlowNets）和对抗性流网络（AFlowNets）分别用于两人零和游戏，表明后者在 Connect 4 比赛中通过自对弈发现超过 80% 的最优移动，并超越 AlphaZero。

    Oct, 2023

  • 分叉生成流网络

    生成流网络（GFlowNets）是一种有前景的概率抽样框架，目前出现了一种新的家族。然而，现有的 GFlowNets 由于边缘流的直接参数化或依赖于可能难以扩展到大型操作空间的反向策略，往往导致数据效率较低。本文介绍了一种称为 Bifurcated GFlowNets（BN）的新方法，该方法采用分岔结构设计，将流程分解成状态流程和基于边缘的流程分配的独立表示。此分解使得 BN 能够更有效地从数据中学习，并更好地处理大规模问题，同时保持收敛保证。通过在标准评估基准上进行了大量实验，我们证明 BN 相对于强基准模型显著提高了学习效率和效果。

    Jun, 2024

  • 演化引导的生成流网络

    我们提出了一种名为进化引导生成流网络（EGFN）的方法，通过使用进化算法（EA）对一组代理参数进行训练，将得到的轨迹存储在优先级回放缓冲区中，并使用存储的轨迹训练 GFlowNets 代理，以有效地训练 GFlowNets 模型在处理长轨迹和稀疏奖励时的挑战。通过广泛的玩具和真实世界基准任务的深入研究，我们展示了我们的方法在处理长轨迹和稀疏奖励时的有效性。

    Feb, 2024

  • 生成流网络的贝叶斯结构学习

    本研究提出了一种称为 DAG-GFlowNet 的方法，使用 Generative Flow Networks 代替 MCMC 来近似推断 Bayesian 网络结构的后验分布。实验结果表明，DAG-GFlowNet 能够提供准确的 DAG 后验近似，并且相对于 MCMC 或变分推断等方法具有优势。

    Feb, 2022

  • 生成流网络：马尔可夫链角度

    本文对 Generative Flow Networks 进行了形式化，并将其视为循环马尔科夫链状态空间下采样的一种方法，这一方法可以在不使用流动的情况下模拟复杂的多模态概率分布函数。

    Jul, 2023

  • 基于生成流网络的精确奖励导向图模型主动学习

    本文提出了基于生成式流网络的图主动学习问题的创新形式：GFlowGNN。我们提出了流节点和流特征的概念，以便有效地将图建模为基于流的生成流网络。 并在实际数据集上进行了广泛的实验，证明了该方法具有良好的探索能力和可转移性，表现优于各种最先进的方法。

    Apr, 2023