智能交通信号控制算法的比较研究

ICMLSep, 2021

智能交通信号控制算法的比较研究

A Comparative Study of Algorithms for Intelligent Traffic Signal Control

Hrishit Chaudhuri, Vibha Masti, Vishruth Veerendranath, S Natarajan

TL;DR本文研究了一种通过马尔可夫决策过程和强化学习算法来优化交通信号控制的方法，使用模拟软件 SUMO 模拟了一个城市交叉口，讨论了循环调度器，反馈控制机制和深度 Q 网络等不同策略及其对交通流的影响，最终在班加罗尔的一个真实交叉口进行了测试验证。

Abstract

In this paper, methods have been explored to effectively optimise traffic signal control to minimise waiting times and queue lengths, thereby increasing traffic flow. The traffic intersection was first defined as a Markov Decision Process, and a state representation, actions and reward

traffic signal control markov decision process reinforcement learning simulation traffic flow

发现论文，激发创造

城市交叉口智能交通信号控制的强化学习方法

本文基于强化学习方法提出一种针对城市交叉口交通信号控制的新模型，采用神经网络作为 Q 函数的近似器进行复杂的信号控制，使用开放源代码的交通模拟器 SUMO 进行实验，结果表明该模型能够显著降低排队长度和等待时间，与基准方法相比具有更好的收敛性和泛化性能。

May, 2019

使用深度强化学习代理控制交通信号

提出了一种交通信号控制系统，利用现代深度强化学习方法构建适应性交通信号控制器，通过对作为输入的交通密集信息进行 Q-learning 训练并使用经验回放，与一种单隐藏层神经网络通讯信号控制器相比，实现了平均累计延迟减少 82％，平均队列长度减少 66％，平均旅行时间减少 20％。

Nov, 2016

交通信号控制方法调查

该论文调查了机器学习中的强化学习方法在交通信号控制中的应用，并提出通过综合现有文献促进该重要研究领域的跨学科研究。

Apr, 2019

自适应交通信号控制：深度强化学习算法，带有经验回放和目标网络

本文提出了一种利用深度强化学习算法从实时交通原始数据中自动提取所有有用特征（机器制造的特征）并学习适应性交通信号控制的最优策略，以减少车辆延迟时间的方法，并通过模拟实验结果证明，与其他两种流行的交通信号控制算法相比，我们的算法将车辆延迟缩短了 47％和 86％。

May, 2017

交通信号控制的协作强化学习

该论文提出了一种协作多目标多智能体深度再强化学习算法（COMMA-DDPG），用于交通信号控制的全局优化和减少延迟等待时间。该算法在真实的亚洲交通数据集上进行了评估，相比目前最先进的方法，成功地减少了 60％的延迟时间。

May, 2022

强化学习的红绿灯控制

本研究提出一种实时交通信号灯控制方法，使用深度 Q 学习，并结合奖励函数，考虑排队长度、延迟、旅行时间和吞吐量，通过根据当前交通状况动态决定相位变化。通过使用合成和实际交通流数据在中国杭州的一个路口进行验证，结果表明与传统的固定信号计划相比，该方法显著改善了车辆等待时间（57.1% 至 100%）、排队长度（40.9% 至 100%）和总行程时间（16.8% 至 68.0%）。

Aug, 2023

基于连接的实时路口控制调度

在实时自适应交通信号控制方面，提出了一种启发式调度算法，该算法采用了基于车道的模型，通过估算通过不同车道接近交叉口的所有车辆的到达时间，计算出最小化所有接近车辆产生的累积延迟的时间表，并应用状态空间、局部修剪和 A * 搜索等技术实现了实时调控，并且在模拟测试环境和实际现场测试中，由于启发式的有效性，该方法的运行性能优于较少表达的动态规划方法和以前基于 A * 的方法。

Oct, 2022

基于深度强化学习的智能交通信号控制与 CO2 排放优化

该研究报告介绍了一种名为 EcoLight 的奖励塑造方案，用于强化学习算法中，既可以减少二氧化碳排放，又可以在诸如旅行时间之类的指标上获得具有竞争力的结果。该研究比较了采用表格型 Q 学习、DQN、SARSA 和 A2C 算法的性能，使用的指标包括旅行时间、二氧化碳排放、等待时间和停车时间，考虑了多种道路使用者（卡车、公交车、汽车）和不同污染水平的多个场景。

Oct, 2023

KDD Cup 2021 City Brain 挑战赛的 DQN 控制解决方案

本文介绍了参加城市大脑挑战赛的详细解决方案，主要基于对深度 Q - 网络（DQN）在实时交通信号控制方面的扩展，在应用新设计的奖励函数和精心调整控制模式后，基于单个 DQN 模型的代理能够名列前 15 个团队，为实际道路网络信号控制提供了基线解决方案，也激发了进一步尝试和研究。

Aug, 2021

信号路网中交通信号控制和车辆路径的多智能体深度强化学习的联合优化

为了缓解城市交通拥堵问题并提高交通效率，本文提出了一种联合优化方法，使用多智能体深度强化学习（MADRL）来进行交通信号控制和车辆路由的信号化道路网络。通过建立代理之间的联系和共享观察和奖励，促进了代理之间的交互和合作，增强了个体训练。数值实验表明，我们的信号控制和车辆路由的集成方案在提高交通效率方面优于单独控制信号时间或车辆路线。

Oct, 2023