提出了一种新的强化学习问题,该问题需要代理在一个由子任务图描述的先前未见的环境中进行泛化,我们提出了一种神经子任务图求解器,通过使用递归神经网络嵌入来编码子任务图,并用基于梯度的策略,图奖励传播来预训练它,进一步通过演员-评论家方法微调它,实验结果表明,我们的代理可以进行复杂的推理,找到执行子任务图的近似最优方式,并且在未见的子任务图上具备很好的泛化性能。
Jul, 2018
在解决复杂优化问题方面,探索式组合优化(ECO-DQN)通过连续改进解决方案,从而有效地学习有效的启发式方法来解决图上的组合优化问题,并在最大割问题上展示了最先进的强化学习性能。
Sep, 2019
本篇论文提出在Deep Reinforcement Learning技术中,将Graph Neural Networks集成进DRL代理中,以解决网络拓扑的泛化问题,并在路由优化的用例中测试并评估其性能,结果表明,在未曾训练过的网络拓扑中,DRL+GNN代理能够胜过目前最先进的解决方案。
Oct, 2019
本文介绍了一种名为ECORD的新型强化学习算法,它通过限制图神经网络的使用,提升了在最大割问题上的表现和可扩展性。在500个节点的图上,ECORD相较于最接近的竞争者,优化效果缩小了最多73%。同时,ECORD在具有多达10000个节点的图的普适性方面保持了强有力的表现。
May, 2022
本文介绍了一种离线强化学习的新方法——图决策 Transformer(GDT)。GDT将输入序列建模为因果图,以捕捉根本上不同概念之间的潜在依赖关系并促进时间和因果关系的学习。GDT在图形输入处理中使用图形 Transformer,并在视觉任务中使用一个可选的序列 Transformer 来处理细粒度空间信息。实验表明,GDT在基于图像的 Atari 和 OpenAI Gym 上的性能可以与最先进的离线强化学习方法相媲美或超越。
Mar, 2023
该研究分析了完全子图枚举的必要性,证明了通过考虑子图的一个小子集可以获得可比较的表达能力,进而提出了MAG-GNN,一种强化学习增强的GNN,用于解决最优子集的组合优化问题。该方法通过将指数复杂度的子图枚举降低为常数复杂度的子图搜索算法,同时保持了良好的表达能力。实验结果显示MAG-GNN在多个数据集上表现出竞争性性能,甚至优于许多子图GNN方法,并有效减少了子图GNN的运行时间。
Oct, 2023
我们提出了一种名为Policy-Learn的新方法,该方法通过学习如何选择子图解决了学习从大量可能的子图中选择一个小子图集的问题,并在实验结果中表现优于现有的基线模型。
我们通过应用简单但有效的量规变换(GT)技术,探索了在测试中不断改进解决方案的强化学习(RL)模型,詮釋了在复杂的组合优化问题中构建更有效模型的方法。
Apr, 2024
我们提出了一种使用增强学习进行训练的GNN方法,通过移除边和/或节点找出最具预测性的子图,同时优化图分类任务的性能,从而在与基线相竞争的性能下,依赖于更稀疏的子图,从而产生更可解释的基于GNN的预测结果。
为了提高RL算法的训练效率,本研究基于高速公路图的观察,提出了一种新颖的图结构,用于模拟状态转换,将RL训练在早期阶段显著加速,并在性能上优于其他无模型和带模型的RL算法。同时,基于高速公路图训练的深度神经网络代理具有更好的泛化性能和更低的存储成本。
May, 2024