基于深度策略梯度和价值函数的强化学习交通信号灯控制

Apr, 2017

基于深度策略梯度和价值函数的强化学习交通信号灯控制

Traffic Light Control Using Deep Policy-Gradient and Value-Function Based Reinforcement Learning

Seyed Sajad Mousavi, Michael Schukat, Enda Howley

TL;DR本文的研究探究了在使用深度神经网络架构和强化学习技术组合的方法来解决高维状态和行为空间下的复杂控制问题方面的最新进展，并构建了两种基于强化学习的算法：基于策略梯度和基于值函数的代理，以预测交通路口最佳的信号灯状态，通过 SUMO 交通模拟器实验表明，本方法在训练过程中没有出现不稳定问题。

Abstract

Recent advances in combining deep neural network architectures with reinforcement learning techniques have shown promising potential results in solving complex control problems with high dimensional state and act

deep neural network reinforcement learning traffic signal control policy-gradient value-function

发现论文，激发创造

深度确定性策略梯度用于城市交通信号灯控制

本文旨在提出一种使用深度学习 DDPG 算法来优化交通信号灯时序的方法，以应对交通数据信息量大的情况，并在简单和复杂的交通网络测试中获得了良好结果。

Mar, 2017

使用深度强化学习代理控制交通信号

提出了一种交通信号控制系统，利用现代深度强化学习方法构建适应性交通信号控制器，通过对作为输入的交通密集信息进行 Q-learning 训练并使用经验回放，与一种单隐藏层神经网络通讯信号控制器相比，实现了平均累计延迟减少 82％，平均队列长度减少 66％，平均旅行时间减少 20％。

Nov, 2016

强化学习的红绿灯控制

本研究提出一种实时交通信号灯控制方法，使用深度 Q 学习，并结合奖励函数，考虑排队长度、延迟、旅行时间和吞吐量，通过根据当前交通状况动态决定相位变化。通过使用合成和实际交通流数据在中国杭州的一个路口进行验证，结果表明与传统的固定信号计划相比，该方法显著改善了车辆等待时间（57.1% 至 100%）、排队长度（40.9% 至 100%）和总行程时间（16.8% 至 68.0%）。

Aug, 2023

智能交通系统中的交通灯深度强化学习控制

本篇论文通过研究深度强化学习在交通灯控制问题中的应用，证明在格网路网中智能行驶的 “绿波” 策略自然而然地出现，并且优于传统方法，这为提高交通效率提供了途径。

Feb, 2023

交通信号灯和车速建议的深度强化学习

通过车辆与其它物体的通信，联合控制交通信号和车速建议有助于减少交通拥堵，改善交通系统的效能。

Sep, 2023

交通信号控制的协作强化学习

该论文提出了一种协作多目标多智能体深度再强化学习算法（COMMA-DDPG），用于交通信号控制的全局优化和减少延迟等待时间。该算法在真实的亚洲交通数据集上进行了评估，相比目前最先进的方法，成功地减少了 60％的延迟时间。

May, 2022

自适应交通信号控制：深度强化学习算法，带有经验回放和目标网络

本文提出了一种利用深度强化学习算法从实时交通原始数据中自动提取所有有用特征（机器制造的特征）并学习适应性交通信号控制的最优策略，以减少车辆延迟时间的方法，并通过模拟实验结果证明，与其他两种流行的交通信号控制算法相比，我们的算法将车辆延迟缩短了 47％和 86％。

May, 2017

城市交叉口智能交通信号控制的强化学习方法

本文基于强化学习方法提出一种针对城市交叉口交通信号控制的新模型，采用神经网络作为 Q 函数的近似器进行复杂的信号控制，使用开放源代码的交通模拟器 SUMO 进行实验，结果表明该模型能够显著降低排队长度和等待时间，与基准方法相比具有更好的收敛性和泛化性能。

May, 2019

应用强化学习优化交通信号灯周期

本文提出了使用强化学习来实时优化交通灯周期的方法，并通过使用 Simulation Urban Mobility 模拟器进行深度 Q 网络算法的训练进行了案例研究。实验结果显示，平均紧急停车数量减少了 44.16％，显示了我们的方法减少交通拥堵和改善交通流的潜力。此外，我们讨论了未来研究和强化学习模型的改进方向。

Feb, 2024

MTLight：高效多任务强化学习用于交通信号控制

车辆信号控制对缓解现代城市交通拥堵有着重大影响。近年来，深度强化学习被广泛应用于该任务，表现出有希望的性能，但也面临许多挑战，如有限的性能和样本效率。为了应对这些挑战，我们提出了 MTLight，通过学习大量交通指标来增强智能体的观察，并构建多个辅助任务和监督任务来学习潜在状态，并使用任务特定特征和任务共享特征来使潜在状态更丰富。在 CityFlow 上进行了大量实验证明 MTLight 具有领先的收敛速度和渐近性能。我们在所有场景中模拟了高峰小时模式，并且结果表明 MTLight 具有高度的适应性。

Apr, 2024