轨迹平衡：GFlowNets 中改进的信用分配

Jan, 2022

轨迹平衡：GFlowNets 中改进的信用分配

Trajectory balance: Improved credit assignment in GFlowNets

Nikolay Malkin, Moksh Jain, Emmanuel Bengio, Chen Sun, Yoshua Bengio

TL;DR该文研究了生成流网络中的学习策略，提出了一种更有效的学习目标 - trajectory balance，并在实验中验证了其提高生成样本多样性和网络收敛性的效果。

Abstract

generative flow networks (GFlowNets) are a method for learning a stochastic policy for generating compositional objects, such as graphs or strings, from a given unnormalized density by sequences of actions, where many possible action sequences may lead to the same object. We find previ

generative flow networks stochastic policy learning objectives trajectory balance sample diversity

发现论文，激发创造

探究与改进 GFlowNet 的训练

本文介绍了基于 GFlowNets 算法的生成模型策略，探究了如何在实际训练资源限制下实现更好的样本效率和匹配目标分布，提出了优先回放、相对边流策略参数化和新的引导轨迹平衡目标等方法来提高样本效率，有效解决了一些结构学分配问题。

May, 2023

基于流网络的生成模型用于非迭代多样候选生成

本文提出了一种基于 GFlowNet 的生成策略来生成对象的方法，该方法将生成过程视为一种流动网络，并将一组轨迹转换为流动，并将流动一致性方程转换为学习目标，以实现训练时的搜索成本，从而提高了性能和多样性。

Jun, 2021

非循环生成流网络的理论

GFlowNets 是一种新型的基于流的方法，用于学习通过一系列动作以及与给定正向奖励成比例的概率来生成对象的随机策略。我们在放宽应用范围的前提下对 GFlowNets 的假设进行了改进，特别是解除了关于非环性的限制。为此，我们扩展了可测空间上的 GFlowNets 理论，其中包括了没有循环限制的连续状态空间，并在这个广义上下文中提供了循环的一般化。我们展示了迄今为止使用的损失函数会使流陷入循环，因此我们定义了一族能解决这个问题的损失函数。在图形和连续任务上进行的实验证实了这些原则。

Dec, 2023

Thompson 采样在 GFlowNets 中的应用提高探索性能

本文提出了一种基于多臂赌博机思想的贝叶斯技术算法（TS-GFN），将训练过程中的轨迹选择视为主动学习问题，从学习策略的近似后验分布中采样轨迹来提高探索效率，进而比过去的离线探索策略更快地收敛至目标分布，在两个领域的实验中证明了其优越性。

Jun, 2023

分布式 GFlowNets 与分位数流

本文提出了一种名为 Quantile Matching 的新型 GFlowNet 学习算法，它采用了分布法来处理代理的激励波动性，并且对具有决定性的激励任务也有显著的改进。

Feb, 2023

探索生成流网络的泛化行为

生成流网络（GFlowNets，GFNs）是一种生成式框架，用于学习离散空间上的非归一化概率质量函数。我们通过实证验证了 GFlowNets 的一些泛化机制假设，发现它们学习逼近的函数具有隐含的结构，有利于泛化。同时，我们还发现 GFlowNets 对离线和离策略训练非常敏感，但是 GFlowNets 隐含学习到的奖励对训练分布的变化具有鲁棒性。

Feb, 2024

基于生成流网络的精确奖励导向图模型主动学习

本文提出了基于生成式流网络的图主动学习问题的创新形式：GFlowGNN。我们提出了流节点和流特征的概念，以便有效地将图建模为基于流的生成流网络。并在实际数据集上进行了广泛的实验，证明了该方法具有良好的探索能力和可转移性，表现优于各种最先进的方法。

Apr, 2023

局部搜索 GFlowNets

通过使用局部搜索方法来培训 GFlowNets，本文解决了传统 GFlowNet 方法在产生高回报样本方面的困难，进而表现出出色的性能提升。

Oct, 2023

优化 GFlowNets 实现文本到图像扩散对齐

我们提出了 DAG 算法，通过黑盒属性函数对扩散模型进行后训练，从而能够有效地将大规模文本到图像扩散模型与给定的奖励信息对齐。

Jun, 2024

随机环境下的预期流网络与两人零和游戏

生成流网络（GFlowNets）在多个结构化对象生成任务中取得成功，并扩展到包括蛋白质设计在内的随机环境，提出了预期流网络（EFlowNets）和对抗性流网络（AFlowNets）分别用于两人零和游戏，表明后者在 Connect 4 比赛中通过自对弈发现超过 80% 的最优移动，并超越 AlphaZero。

Oct, 2023