数据或许足够：离线强化学习桥接现实交通信号控制

Mar, 2023

数据或许足够：离线强化学习桥接现实交通信号控制

Data Might be Enough: Bridge Real-World Traffic Signal Control Using Offline Reinforcement Learning

Liang Zhang, Jianming Deng

TL;DR本文提出了一种基于循环离线数据集的数据驱动方法来解决真实交通信号控制中部署的问题。在仿真与真实环境中进行了广泛实验，结果表明，引入循环离线数据集的数据驱动方法在某些情况下可以实现令人满意的性能，COD 可以被视为用于交通信号控制问题的可靠离线数据集。

Abstract

Applying reinforcement learning (RL) to traffic signal control (TSC) has become a promising solution. However, most RL-based methods focus solely on optimization within simulators and give little thought to deplo

reinforcement learning traffic signal control offline dataset offline rl cyclical signal control

发现论文，激发创造

基于离线强化学习的完全数据驱动实现逼真交通信号控制

通过结合交通流理论和机器学习，我们提出了一种全面的数据驱动和免费模拟器的实现逼真交通信号控制框架 (D2TSC)。我们利用历史交通数据构建了一个奖励推断模型，通过粗粒度的交通数据来推断奖励信号，并进一步使用样本高效的离线 RL 方法，从真实世界交叉口的离线历史数据集中直接学习信号控制策略。通过广泛实验证明，我们的方法在传统方法和离线 RL 基准上取得了卓越的性能，并且具有更好的实际应用性。

Nov, 2023

基于轻量级 Transformer 的交通信号控制：离线到在线强化学习方法

DTLight 是一种基于 Decision Transformer 和知识蒸馏的简单而强大的轻量级交通信号控制方法，可从易于获取的离线数据集中学习策略，并通过适配器模块实现在线调整，其在合成和真实场景的广泛实验中表现出色。

Dec, 2023

用于路面交通管制的离线强化学习技术

本研究基于批量强化学习的方法，运用基于惩罚项的自适应奖励方式在普通的循环交通信号控制策略下，构建出一个马尔可夫决策过程（MDP）的学习框架，不仅提高了对于不同分布情境的管理优化，还显著提高了交通信号控制的效率。

Jan, 2022

真正的交易：将基于强化学习的交通信号控制系统向现实迈进的挑战和机遇综述

本篇研究检验了强化学习对于交通信号控制中的应用，探讨了其中的挑战与不确定性，提出了需要更多系统性思维的研究来解决这些挑战。

Jun, 2022

面向交通信号控制的强化学习实际应用

本文介绍了一个名为 LemgoRL 的基准工具，为了关闭现有交通信号控制器在简化的模拟环境下不能正确地执行任务的差距，提出在更真实的模拟环境中进行 RL 算法的训练，以在真实世界的交通系统中应用。通过在这个基准工具上训练一个深度 RL 算法的性能表现，论文指出本基准工具推动 RL 算法向着真实世界应用方向的发展。

Mar, 2021

CycLight：使用循环级策略学习交通信号配合

本研究引入了 CycLight，一种新颖的基于循环层次的深度强化学习方法，用于网络级自适应交通信号控制系统。与大多数传统的基于强化学习的交通控制器不同，CycLight 采用了循环层次的策略，使用参数化深度 Q 网络算法同时优化循环长度和分割。该循环层次方法有效减少了频繁数据通信的计算负担，同时增强了实际应用的实用性和安全性。为多智能体协作制定了分散的框架，同时整合了注意机制以准确评估当前交叉口周围环境的影响。在大型合成交通网格上使用微观交通仿真工具 SUMO 对 CycLight 进行了测试。实验结果不仅证明了 CycLight 相对于最先进方法的卓越性能，还展示了其对信息传输延迟的稳健性。

Jan, 2024

CityLight：一种面向现实世界城市规模交通信号控制协调的通用模型

交通信号控制是一项具有潜力的低成本措施，可以提高交通效率而不影响现有道路基础设施。本篇论文提出了基于增强学习的城市规模高可靠道路网络交通信号控制方法 CityLight，通过参数共享的 MAPPO 优化框架来实现多个智能体的协同控制和大规模异质交叉口的适配，采用邻域集成奖励以达到全局最优。大量实验证明 CityLight 具有出人意料的效果和推广性，整体性能提升 11.66%，在迁移场景中吞吐量提高了 22.59%。

Jun, 2024

基于不确定性感知的基础动作转换：用于交通信号控制的模拟到实际转换

本文提出了一种名为 UGAT 的仿真到真实世界转移方法，通过动态转换模拟中的不确定行动来减小转移动态的领域差异，从而将在仿真环境中训练的学习策略转移到真实环境中，显著提高了转移强化学习策略在真实世界中的性能。

Jul, 2023

CVLight：利用连接车辆进行自适应交通信号控制的分散式学习

本研究提出了一种名为 CVLight 的分散式增强学习方案，应用于多交叉口自适应交通信号控制，利用了来自互联车辆的数据，提出了新算法 Asym-A2C，通过全面的实验，证明 CVLight 在各种交通需求和覆盖率下都优于现有算法，并展示了 Asym-A2C 的优势。

Apr, 2021

强化学习的红绿灯控制

本研究提出一种实时交通信号灯控制方法，使用深度 Q 学习，并结合奖励函数，考虑排队长度、延迟、旅行时间和吞吐量，通过根据当前交通状况动态决定相位变化。通过使用合成和实际交通流数据在中国杭州的一个路口进行验证，结果表明与传统的固定信号计划相比，该方法显著改善了车辆等待时间（57.1% 至 100%）、排队长度（40.9% 至 100%）和总行程时间（16.8% 至 68.0%）。

Aug, 2023