多智能体深度强化学习用于大规模交通信号控制

Mar, 2019

多智能体深度强化学习用于大规模交通信号控制

Multi-Agent Deep Reinforcement Learning for Large-scale Traffic Signal Control

Tianshu Chu, Jie Wang, Lara Codecà, Zhaojian Li

TL;DR本文提出了一种可完全扩展和去中心化的多智能体 A2C 算法，以提高城市交通网络中的自适应交通信号控制的可观测性和减少学习难度，并在大型合成交通网格和摩纳哥城的大型实际交通网络下，通过模拟高峰流量动态，并将其与独立 A2C 和独立 Q-learning 算法进行比较，结果表明其优化性、鲁棒性和样本效率优于其他最先进的去中心化 MARL 算法。

Abstract

reinforcement learning (RL) is a promising data-driven approach for adaptive traffic signal control (ATSC) in complex urban traffic networks, and deep neural networks further enhance its learning power. However,

reinforcement learning traffic signal control multi-agent rl deep rl agent observability

发现论文，激发创造

交通信号控制的多智能体深度强化学习新方法

随着旅游需求的增加和城市交通状况的复杂化，采用多智能体深度强化学习 (MARL) 来控制交通信号成为热门话题。本文提出了一种基于智能体合作方案的 Friend-Deep Q-network (Friend-DQN) 方法，以用于城市网络中的多个交通信号控制，该方法可以减少状态 - 操作空间，从而加快收敛速度。通过使用 SUMO (城市交通仿真) 平台评估友好 DQN 模型的表现，并展示其相对于其他现有方法的可行性和优越性。

Jun, 2023

多智能体图强化学习中的学习分散式交通信号控制器

本文研究智能城市中的交通信号优化控制问题，通过多智能体强化学习的新分散控制架构和图学习算法，提出了一种新的去中心化控制策略，增强了环境可观测性以抓取交通信号的时空关联性，实验证明该方案优于现有的分散算法。

Nov, 2023

SocialLight：面向网络范围交通信号控制的分布式协作学习

提出了一种名为 SocialLight 的基于多智能体强化学习和分布式学习的交通信号控制方法，通过估计个体对本地邻域的边际贡献来学习交通控制策略，解决了传统方法中合作性不足和无法扩展等问题，并经过在两个交通模拟器上的标准基准测试，结果表明 SocialLight 具有更好的可扩展性和更好的性能。

Apr, 2023

基于表征通信的大规模交通信号控制的多智能体强化学习

基于通信的多智能体强化学习（MARL）框架用于大规模交通信号控制，每个智能体学习通信策略以选择消息的发送对象和交换可变长度的消息，实现去中心化和灵活的通信机制，并在网络拥塞和性能方面表现优于相关方法。

Oct, 2023

大规模网格交通网络区域信号控制的多智能体强化学习

本文提出了一种基于区域划分的交通信号控制方法，使用多智能体强化学习技术，利用基于交通网络分区的扩展分支决斗 Q 网络算法，解决方法众多、非稳定性问题和优化联合行动问题，提高了解决方案的鲁棒性。

Mar, 2023

基于 Nash Deep Q 网络方法的大规模交通信号控制

本文介绍了一种基于 nash equilibrium 的 off-policy nash deep Q-Network (OPNDQN) 算法，该算法克服了完全集中和多智能体强化学习方法的缺点，不仅可以在多个交叉口中找到纳什均衡，也能够解决多智能体 Markov 过程的不确定性问题。采用 SUMO 仿真器进行了广泛的实验，结果表明 OPNDQN 相对于现有的多智能体强化学习方法在平均排队长度、训练回报和平均等待时间方面具有显著优势。

Jan, 2023

网络系统控制的多智能体强化学习

本文研究了网络系统控制中的多智能体强化学习问题，提出了基于空间折扣因子的 NMARL 问题并引入了一种可微的通信协议 NeurComm 以提高学习效率和控制性能。实验结果表明，合适的空间折扣因子可以有效提高 MARL 算法的非通讯性学习曲线，而 NeurComm 在学习效率和控制性能方面均优于现有的通信协议。

Apr, 2020

网络代理的去中心化多智能体强化学习：最新进展

本文回顾了多智能体强化学习的一个分支领域 —— 网络化智能体下的去中心化多智能体强化学习。该领域的研究主要集中在多个代理在公共环境中执行顺序决策，而无需任何中央控制器的协调。代理可以通过通信网络与其邻居交换信息。此设置在机器人，无人驾驶车辆，移动传感器网络和智能电网的控制和操作中具有广泛应用。

Dec, 2019

通过协作解决城市拥堵问题：基于异构 GNN 的 MARL 用于协调编队和交通信号控制

本研究提出了一种基于异构图多智能体强化学习和交通理论的创新方法，用于实时联合控制信号控制和车队编队，以缓解交通拥堵。

Oct, 2023

弱合作多智能体交通控制问题的独立强化学习

本研究使用独立强化学习解决复杂的交通协同控制问题，提出了一种部分可观测弱协同交通模型来优化一组路口的整体交通状况，并提出了 Cooperative Important Lenient Double DQN（CIL-DDQN）算法来应对其他智能体策略变化引起的经验失效问题，且该算法在交通控制问题的几乎所有性能指标方面优于其他方法。

Apr, 2021