Mar, 2024

用 GFlowNets 进行组合优化的蚁群抽样

PDF
TL;DR该论文介绍了一种新型的神经引导元启发式算法，Generative Flow Ant Colony Sampler (GFACS)，用于组合优化。该算法将生成流网络 (GFlowNets) 与蚁群优化 (ACO) 方法相结合，在组合空间中提供了一个基于输入图实例的决策变量的先验分布，从而增强了 ACO 的功能。此外，本文还引入了一种新的训练技巧组合，包括搜索引导的局部探索、能量归一化和能量塑形，以提高 GFACS 的性能。我们的实验结果表明，在七个组合优化任务中，GFACS 胜过基准 ACO 算法，并且在车辆路径问题上与问题特定的启发式算法相竞争。源代码可在 https://github.com/ai4co/gfacs 上获得。
generative flow ant colony samplerneural-guided meta-heuristic algorithmcombinatorial optimizationgflownetsant colony optimization
发现论文，激发创造
  • 让流动告诉我们答案：使用 GFlowNets 解决图形组合优化问题

    本文提出了利用 GFlowNets 与 Markov 决策过程相结合的方法，通过训练条件 GFlowNets 来采样解空间，并通过各种合成数据和真实数据模拟多种不同的组合问题。通过大量实验证明，GFlowNet 策略可以高效地找到高质量解。

    May, 2023

  • 改进 GFlowNets 使用蒙特卡罗树搜索

    我们运用蒙特卡罗树搜索算法（MCTS）提升了生成流网络的规划能力，实验证明这种方法提高了生成流网络的训练样本效率和预先训练模型的生成真实性。

    Jun, 2024

  • 局部搜索 GFlowNets

    通过使用局部搜索方法来培训 GFlowNets，本文解决了传统 GFlowNet 方法在产生高回报样本方面的困难，进而表现出出色的性能提升。

    Oct, 2023

  • Thompson 采样在 GFlowNets 中的应用提高探索性能

    本文提出了一种基于多臂赌博机思想的贝叶斯技术算法（TS-GFN），将训练过程中的轨迹选择视为主动学习问题，从学习策略的近似后验分布中采样轨迹来提高探索效率，进而比过去的离线探索策略更快地收敛至目标分布，在两个领域的实验中证明了其优越性。

    Jun, 2023

  • QGFN: 行动价值的可控贪婪度

    通过将 GFN 策略与行为价值估计 Q 相结合，提出了一种新的方法 QGFN，能够在多个任务中生成更多高回报样本而不损失多样性。

    Feb, 2024

  • 非循环生成流网络的理论

    GFlowNets 是一种新型的基于流的方法，用于学习通过一系列动作以及与给定正向奖励成比例的概率来生成对象的随机策略。我们在放宽应用范围的前提下对 GFlowNets 的假设进行了改进，特别是解除了关于非环性的限制。为此，我们扩展了可测空间上的 GFlowNets 理论，其中包括了没有循环限制的连续状态空间，并在这个广义上下文中提供了循环的一般化。我们展示了迄今为止使用的损失函数会使流陷入循环，因此我们定义了一族能解决这个问题的损失函数。在图形和连续任务上进行的实验证实了这些原则。

    Dec, 2023

  • DeepACO：神经增强的蚁群优化系统用于组合优化

    DeepACO 是一个利用深度强化学习来自动化启发式设计的通用框架，用于加强现有 ACO 算法的启发式措施并在未来 ACO 应用中省去繁琐的手动设计。作为一个神经增强元启发式方法，DeepACO 在八个组合优化问题上使用单个神经模型和一组超参数始终优于其 ACO 对应物。作为一种神经元组合优化方法，DeepACO 在经典路由问题上表现优于或与特定问题方法相当。

    Sep, 2023

  • 探究与改进 GFlowNet 的训练

    本文介绍了基于 GFlowNets 算法的生成模型策略，探究了如何在实际训练资源限制下实现更好的样本效率和匹配目标分布，提出了优先回放、相对边流策略参数化和新的引导轨迹平衡目标等方法来提高样本效率，有效解决了一些结构学分配问题。

    May, 2023

  • 预训练和微调生成流网络

    发展了一种无监督预训练的 GFlowNets 方法，通过预训练 OC-GFN 模型，可以在下游任务中直接提取适应新奖励函数的策略，并证明了该方法在发现模式和适应下游任务方面的有效性。

    Oct, 2023

  • 探索生成流网络的泛化行为

    生成流网络（GFlowNets，GFNs）是一种生成式框架，用于学习离散空间上的非归一化概率质量函数。我们通过实证验证了 GFlowNets 的一些泛化机制假设，发现它们学习逼近的函数具有隐含的结构，有利于泛化。同时，我们还发现 GFlowNets 对离线和离策略训练非常敏感，但是 GFlowNets 隐含学习到的奖励对训练分布的变化具有鲁棒性。

    Feb, 2024