交通信号控制是一项具有潜力的低成本措施，可以提高交通效率而不影响现有道路基础设施。本篇论文提出了基于增强学习的城市规模高可靠道路网络交通信号控制方法 CityLight，通过参数共享的 MAPPO 优化框架来实现多个智能体的协同控制和大规模异质交叉口的适配，采用邻域集成奖励以达到全局最优。大量实验证明 CityLight 具有出人意料的效果和推广性，整体性能提升 11.66%，在迁移场景中吞吐量提高了 22.59%。

Jun, 2024

本文基于强化学习方法提出一种针对城市交叉口交通信号控制的新模型，采用神经网络作为 Q 函数的近似器进行复杂的信号控制，使用开放源代码的交通模拟器 SUMO 进行实验，结果表明该模型能够显著降低排队长度和等待时间，与基准方法相比具有更好的收敛性和泛化性能。

May, 2019

本篇研究检验了强化学习对于交通信号控制中的应用，探讨了其中的挑战与不确定性，提出了需要更多系统性思维的研究来解决这些挑战。

Jun, 2022

通过结合交通流理论和机器学习，我们提出了一种全面的数据驱动和免费模拟器的实现逼真交通信号控制框架 (D2TSC)。我们利用历史交通数据构建了一个奖励推断模型，通过粗粒度的交通数据来推断奖励信号，并进一步使用样本高效的离线 RL 方法，从真实世界交叉口的离线历史数据集中直接学习信号控制策略。通过广泛实验证明，我们的方法在传统方法和离线 RL 基准上取得了卓越的性能，并且具有更好的实际应用性。

Nov, 2023

提出了一种新颖的交通信号控制系统框架，通过与多个相邻的边缘计算服务器协作收集道路网络上的交通信息，采用多智能体软 actor-critic 强化学习算法结合超图学习，以实现交通信号控制的智能化，优化交通流量，并且能够捕捉多个交叉口之间的复杂时空相关性，实现更智能、更具响应性的城市交通管理解决方案。

Apr, 2024

该研究提出了一种名为 UniComm 的通信形式，该形式有效地协调了多个交叉口之间的通信，并提出了一种名为 UniLight 的简洁网络，可充分利用 UniComm 所激活的通信。实验结果表明，UniComm 普遍改善了现有最先进方法的表现，而 UniLight 在广泛的交通情况下显著优于现有方法。

Apr, 2022

本文介绍了一个名为 LemgoRL 的基准工具，为了关闭现有交通信号控制器在简化的模拟环境下不能正确地执行任务的差距，提出在更真实的模拟环境中进行 RL 算法的训练，以在真实世界的交通系统中应用。通过在这个基准工具上训练一个深度 RL 算法的性能表现，论文指出本基准工具推动 RL 算法向着真实世界应用方向的发展。

Mar, 2021

提出一种用马尔科夫决策过程描述控制器设计问题和解决方案建模的新型 ATSC 方法，并分析现有研究中常被忽视的系统性问题，并提出未来可能的解决方向。

Nov, 2022

本研究提出了一种名为 CVLight 的分散式增强学习方案，应用于多交叉口自适应交通信号控制，利用了来自互联车辆的数据，提出了新算法 Asym-A2C，通过全面的实验，证明 CVLight 在各种交通需求和覆盖率下都优于现有算法，并展示了 Asym-A2C 的优势。

Apr, 2021

本研究提出了一种基于多智能体协作的在线规划方法，旨在实现适应性、实时和网络级交通信号控制（TSC），并证明这种方法能够有效提高交通流量的控制和性能。

Jun, 2023