高速公路图在强化学习中的加速

May, 2024

Highway Graph to Accelerate Reinforcement Learning

Zidu Yin, Zhen Zhang, Dong Gong, Stefano V. Albrecht, Javen Q. Shi

TL;DR为了提高 RL 算法的训练效率，本研究基于高速公路图的观察，提出了一种新颖的图结构，用于模拟状态转换，将 RL 训练在早期阶段显著加速，并在性能上优于其他无模型和带模型的 RL 算法。同时，基于高速公路图训练的深度神经网络代理具有更好的泛化性能和更低的存储成本。

Abstract

reinforcement learning (RL) algorithms often suffer from low training efficiency. A strategy to mitigate this issue is to incorporate a model-based planning algorithm, such as Monte Carlo Tree Search (MCTS) or Value Iteration (VI), into the environmental model. The major limitation of

reinforcement learning training efficiency value learning highway graph model-based rl

发现论文，激发创造

图神经网络诱导价值迭代

通过引入图神经网络，该论文提出的价值迭代算法执行图神经网络，跨越任意环境模型，并在 VI 的中间步骤上受到直接监督，证明了具有强监督的 GNN 执行者是深度强化学习系统中可行的组成部分。

Sep, 2020

Value Memory Graph: 离线强化学习的基于图结构的世界模型

该研究旨在解决在复杂环境中直接应用强化学习方法以学习策略时遇到的困难，提出了一种基于图的马尔可夫决策过程的简单离线世界模型，称为 Value Memory Graph，可有效地解决回报稀疏和长时间跨度等问题。

Jun, 2022

基于图卷积的深度强化学习在混合交通环境下的多智能体决策

本研究提出了一种利用图神经网络和深度强化学习相结合的图强化学习方法，以提高自主车辆互动交通场景下的决策生成精度。在实验验证中，该方法能够提取交互情景特征，并生成更好的合作行为。

Jan, 2022

M-Walk: 使用蒙特卡罗树搜索学习在图上行走

通过开发 M-Walk 这样一种能够在存在稀疏奖励情况下有效训练的图行走代理，利用深度循环神经网络和 Monte Carlo Tree Search 算法，结合神经策略与 Q 值，用 Q-Learning 进行无模拟训练，最终在多个图行走基准测试中展现出远优于其他基于策略梯度的强化学习方法的性能，解决了知识库补全等实际应用中遇到的问题。

Feb, 2018

图形价值迭代

该论文提出了一种基于图值迭代的领域无关方法，通过利用局部搜索空间的图结构提供更多的信息学习信号，实现了解决规划任务的目标状态，以及通过一种课程策略来平滑学习过程。

Sep, 2022

强化学习中基于反馈的树搜索

本文提出一种基于模型的强化学习技术，该技术将 Monte-Carlo 树搜索应用于无限期 Marov 决策过程的有限期版本，并使用值函数和策略函数的组合来规定有限期问题的终端条件或决策树的叶节点评估器。作者还提供了第一个基于树搜索的强化学习算法的样本复杂度边界，并证明由深度神经网络实现的技术能够创建一种竞争性人工智能代理。

May, 2018

交通优化中的隐式感知：先进的深度强化学习技术

通过采用深度强化学习从事自主驾驶车辆上的车辆跟随和变道模型，本论文探讨了解决构成道路阻塞的突发情况，提出了基于 Markov 决策过程和 MEC 辅助架构的综合决策控制系统，并通过 SUMO 模拟器和 OPENAI GYM 评估了该模型的性能，结果显示使用 ε-greedy 策略进行训练的 DQN 代理明显优于使用 Boltzmann 策略进行训练的代理。

Sep, 2023

多智能体路由价值迭代网络

本文提出了一种多智能体坐标线路图的图神经网络模型，利用学习价值迭代在稀疏相互连接图中执行坐标线路图，并通过通信模块使智能体在线协调并更有效地适应变化，可以应用于自主车辆中实现实时映射和车队管理等。

Jul, 2020

参数化强化学习方法在信号控制路口电动车辆节能驾驶中的应用

本文提出一种基于强化学习的连接电动汽车经济驾驶框架，旨在提高车辆能源效率，并在交通信号灯路口中重新定义汽车后续策略、换道策略以及车辆加速控制决策，从而优化车辆动作方案，基于 SUMO 软件单车视角和流量视角的评估表明，该策略能够显著减少非人为驾驶车辆的能源消耗，实现了减排目的。

Jun, 2022

高速价值迭代网络

使用可微分规划模块和嵌入式高速值迭代的方法，有效地解决了长期规划问题并在数百个规划步骤中超越了传统的值迭代网络和一些很深的神经网络。

Jun, 2024