ICMLJun, 2023

BatchGFN: 批量主动学习的生成流网络

PDF
TL;DRBatchGFN 使用生成流网络来采样比例为批量奖励的数据点集，可构建高度信息化批次用于主动学习，在玩具回归问题中，通过适当的奖励函数以单次前向通过批次中的每个点，取样接近最优效用批次，最大化批次奖励的贪婪近似已不再需要。同时，我们还提出了跨获取步骤的分摊训练的初步结果，这将使其能够扩展到真实世界的任务。
batchgfnpool-based active learninggenerative flow networksbatch rewardjoint mutual information
发现论文，激发创造
  • 基于生成流网络的精确奖励导向图模型主动学习

    本文提出了基于生成式流网络的图主动学习问题的创新形式：GFlowGNN。我们提出了流节点和流特征的概念，以便有效地将图建模为基于流的生成流网络。 并在实际数据集上进行了广泛的实验，证明了该方法具有良好的探索能力和可转移性，表现优于各种最先进的方法。

    Apr, 2023

  • 探索生成流网络的泛化行为

    生成流网络（GFlowNets，GFNs）是一种生成式框架，用于学习离散空间上的非归一化概率质量函数。我们通过实证验证了 GFlowNets 的一些泛化机制假设，发现它们学习逼近的函数具有隐含的结构，有利于泛化。同时，我们还发现 GFlowNets 对离线和离策略训练非常敏感，但是 GFlowNets 隐含学习到的奖励对训练分布的变化具有鲁棒性。

    Feb, 2024

  • QGFN: 行动价值的可控贪婪度

    通过将 GFN 策略与行为价值估计 Q 相结合，提出了一种新的方法 QGFN，能够在多个任务中生成更多高回报样本而不损失多样性。

    Feb, 2024

  • 双生成流网络

    深度学习在药物发现中是一种有效的工具，具有在预测模型和生成模型中的潜在应用。本文介绍了双生成流网络（double GFlowNets，DGFNs），这是一种能够生成多样化候选物分子的方法。通过引入强化学习和双深度 Q 学习的概念，我们在采样轨迹时使用了目标网络，并利用这些采样轨迹更新主网络。实证结果表明，DGFNs 有效地增强了在稀疏奖励领域和高维状态空间中的探索能力，这是药物发现中崭新设计的具有挑战性的方面。

    Oct, 2023

  • 局部搜索 GFlowNets

    通过使用局部搜索方法来培训 GFlowNets，本文解决了传统 GFlowNet 方法在产生高回报样本方面的困难，进而表现出出色的性能提升。

    Oct, 2023

  • 分叉生成流网络

    生成流网络（GFlowNets）是一种有前景的概率抽样框架，目前出现了一种新的家族。然而，现有的 GFlowNets 由于边缘流的直接参数化或依赖于可能难以扩展到大型操作空间的反向策略，往往导致数据效率较低。本文介绍了一种称为 Bifurcated GFlowNets（BN）的新方法，该方法采用分岔结构设计，将流程分解成状态流程和基于边缘的流程分配的独立表示。此分解使得 BN 能够更有效地从数据中学习，并更好地处理大规模问题，同时保持收敛保证。通过在标准评估基准上进行了大量实验，我们证明 BN 相对于强基准模型显著提高了学习效率和效果。

    Jun, 2024

  • 有序保留的 GFlowNets

    Order-Preserving GFlowNets (OP-GFNs) are proposed to sample candidates in proportion to a learned reward function consistent with a given order, eliminating the need for a predefined scalar reward in tasks like multi-objective optimization, and it is proven to concentrate on higher hierarchy candidates, achieving state-of-the-art performance in various tasks.

    Sep, 2023

  • 生成流网络用于离散概率建模

    本文提出了一种基于能量的生成流网络 (EB-GFN) 概率建模算法，该算法通过随机构造数据策略来建模生成过程，并将昂贵的 MCMC 探索在从 GFlowNet 中采样的固定数量的操作中分摊开来。我们展示了 GFlowNet 如何近似执行大块 Gibbs 采样以在多个模式之间混合。我们提出了一个框架，共同训练 GFlowNet 与能量函数，使 GFlowNet 学习从能量分布中采样，而能量则通过从 GFlowNet 中获得负样本的近似 MLE 目标进行学习。我们展示了 EB-GFN 在各种概率建模任务中的有效性。

    Feb, 2022

  • 演化引导的生成流网络

    我们提出了一种名为进化引导生成流网络（EGFN）的方法，通过使用进化算法（EA）对一组代理参数进行训练，将得到的轨迹存储在优先级回放缓冲区中，并使用存储的轨迹训练 GFlowNets 代理，以有效地训练 GFlowNets 模型在处理长轨迹和稀疏奖励时的挑战。通过广泛的玩具和真实世界基准任务的深入研究，我们展示了我们的方法在处理长轨迹和稀疏奖励时的有效性。

    Feb, 2024

  • 预训练和微调生成流网络

    发展了一种无监督预训练的 GFlowNets 方法，通过预训练 OC-GFN 模型，可以在下游任务中直接提取适应新奖励函数的策略，并证明了该方法在发现模式和适应下游任务方面的有效性。

    Oct, 2023