提高大规模交通信号控制的泛化能力和稳健性

Jun, 2023

提高大规模交通信号控制的泛化能力和稳健性

Improving the generalizability and robustness of large-scale traffic signal control

Tianyu Shi, Francois-Xavier Devailly, Denis Larocque, Laurent Charlin

TL;DR本研究探讨了使用分布式强化学习方法控制交通信号灯的鲁棒性和泛化能力，提出了一种组合使用分布式和标准强化学习的策略集成方法，并使用隐式分位点网络（Implicit Quantile Networks）进行建模，在缺失的数据和不同的交通网络结构下取得了优秀的控制效果。

Abstract

A number of deep reinforcement-learning (RL) approaches propose to control traffic signals. In this work, we study the robustness of such methods along two axes. First, sensor failures and GPS occlusions create missing-data challenges and we show that recent methods remain brittle in the face of these missing data. Second, we provide a more systematic study

reinforcement learning traffic signal control distributional reinforcement learning quantile regression generalizability

发现论文，激发创造

面向交通信号控制的鲁棒深度强化学习：需求激增、事故和传感器故障

本论文详细研究采用深度强化学习（RL）算法解决交通拥堵问题，并开发了一个开源框架以评估这些算法在不同的交通模拟环境下的表现。通过考虑一系列外生不确定因素，如需求激增、容量减少和传感器故障等。我们得出了深度强化学习算法在交通控制领域的关键见解，并提出了具体的设计以减轻这些考虑过的外生不确定因素对系统的影响。

Apr, 2019

城市交叉口智能交通信号控制的强化学习方法

本文基于强化学习方法提出一种针对城市交叉口交通信号控制的新模型，采用神经网络作为 Q 函数的近似器进行复杂的信号控制，使用开放源代码的交通模拟器 SUMO 进行实验，结果表明该模型能够显著降低排队长度和等待时间，与基准方法相比具有更好的收敛性和泛化性能。

May, 2019

缺失数据下的交通信号控制强化学习方法

本文介绍了如何使用强化学习来解决城市道路网络中交通信号控制的问题。我们提出了两种解决方案：第一种方案使用状态值估计来进行自适应控制，第二种方案同时使用状态值和奖励值估计来训练强化学习模型进行自适应控制。我们在合成和实际道路网络交通方面进行了大量实验，并发现我们的方法在处理缺失数据的情况下表现优异，且具有鲁棒性。

Apr, 2023

使用深度强化学习代理控制交通信号

提出了一种交通信号控制系统，利用现代深度强化学习方法构建适应性交通信号控制器，通过对作为输入的交通密集信息进行 Q-learning 训练并使用经验回放，与一种单隐藏层神经网络通讯信号控制器相比，实现了平均累计延迟减少 82％，平均队列长度减少 66％，平均旅行时间减少 20％。

Nov, 2016

交通信号控制的随机集成强化学习

该研究提出一种名为 RElight 的动态学习交通信号控制策略的模型，并结合随机集成学习方法以避免陷入局部最优结果。研究还引入了 UTD 比率以控制数据重用数量，以提高数据利用率并在合成数据和实际数据上进行了实验以证明该方法优于现有最优方法。

Mar, 2022

多智能体图强化学习中的学习分散式交通信号控制器

本文研究智能城市中的交通信号优化控制问题，通过多智能体强化学习的新分散控制架构和图学习算法，提出了一种新的去中心化控制策略，增强了环境可观测性以抓取交通信号的时空关联性，实验证明该方案优于现有的分散算法。

Nov, 2023

智能交通系统中的交通灯深度强化学习控制

本篇论文通过研究深度强化学习在交通灯控制问题中的应用，证明在格网路网中智能行驶的 “绿波” 策略自然而然地出现，并且优于传统方法，这为提高交通效率提供了途径。

Feb, 2023

交通信号控制的多智能体深度强化学习新方法

随着旅游需求的增加和城市交通状况的复杂化，采用多智能体深度强化学习 (MARL) 来控制交通信号成为热门话题。本文提出了一种基于智能体合作方案的 Friend-Deep Q-network (Friend-DQN) 方法，以用于城市网络中的多个交通信号控制，该方法可以减少状态 - 操作空间，从而加快收敛速度。通过使用 SUMO (城市交通仿真) 平台评估友好 DQN 模型的表现，并展示其相对于其他现有方法的可行性和优越性。

Jun, 2023

用于路面交通管制的离线强化学习技术

本研究基于批量强化学习的方法，运用基于惩罚项的自适应奖励方式在普通的循环交通信号控制策略下，构建出一个马尔可夫决策过程（MDP）的学习框架，不仅提高了对于不同分布情境的管理优化，还显著提高了交通信号控制的效率。

Jan, 2022

基于 Nash Deep Q 网络方法的大规模交通信号控制

本文介绍了一种基于 nash equilibrium 的 off-policy nash deep Q-Network (OPNDQN) 算法，该算法克服了完全集中和多智能体强化学习方法的缺点，不仅可以在多个交叉口中找到纳什均衡，也能够解决多智能体 Markov 过程的不确定性问题。采用 SUMO 仿真器进行了广泛的实验，结果表明 OPNDQN 相对于现有的多智能体强化学习方法在平均排队长度、训练回报和平均等待时间方面具有显著优势。

Jan, 2023