IJCAIMay, 2022

TinyLight: 面向极限资源设备的自适应交通信号控制

PDF
TL;DR本文提出的 TinyLight，是一个为了极度有限的设备设计的基于深度加 强学习的自适应交通信号控制模型，使用熵最小化目标函数自动减少超图中的边缘，大大降低资源消耗。
deep reinforcement learningadaptive traffic signal controllimited resourcestinylightentropy-minimized objective function
发现论文，激发创造
  • 基于轻量级 Transformer 的交通信号控制：离线到在线强化学习方法

    DTLight 是一种基于 Decision Transformer 和知识蒸馏的简单而强大的轻量级交通信号控制方法，可从易于获取的离线数据集中学习策略，并通过适配器模块实现在线调整，其在合成和真实场景的广泛实验中表现出色。

    Dec, 2023

  • CVLight：利用连接车辆进行自适应交通信号控制的分散式学习

    本研究提出了一种名为 CVLight 的分散式增强学习方案，应用于多交叉口自适应交通信号控制，利用了来自互联车辆的数据，提出了新算法 Asym-A2C，通过全面的实验，证明 CVLight 在各种交通需求和覆盖率下都优于现有算法，并展示了 Asym-A2C 的优势。

    Apr, 2021

  • MTLight：高效多任务强化学习用于交通信号控制

    车辆信号控制对缓解现代城市交通拥堵有着重大影响。近年来，深度强化学习被广泛应用于该任务，表现出有希望的性能，但也面临许多挑战，如有限的性能和样本效率。为了应对这些挑战，我们提出了 MTLight，通过学习大量交通指标来增强智能体的观察，并构建多个辅助任务和监督任务来学习潜在状态，并使用任务特定特征和任务共享特征来使潜在状态更丰富。在 CityFlow 上进行了大量实验证明 MTLight 具有领先的收敛速度和渐近性能。我们在所有场景中模拟了高峰小时模式，并且结果表明 MTLight 具有高度的适应性。

    Apr, 2024

  • DenseLight：大规模交通信号的高效密集反馈控制

    本研究提出利用无偏奖励函数提供密集反馈信息和非本地增强交通信号控制智能体更好地预测交通状况以实现更精确的交通控制的新型增强学习交通信号控制（TSC）方法，并经过了大量实验和消融研究验证其性能优于先进的基线方法。

    Jun, 2023

  • 大型语言模型作为交通信号控制代理：容量和机会

    LLMLight 通过利用大型语言模型（LLMs）进行交通信号控制任务，实现了人类般的决策过程，确保道路网络的最优效率。

    Dec, 2023

  • CycLight：使用循环级策略学习交通信号配合

    本研究引入了 CycLight，一种新颖的基于循环层次的深度强化学习方法，用于网络级自适应交通信号控制系统。与大多数传统的基于强化学习的交通控制器不同，CycLight 采用了循环层次的策略，使用参数化深度 Q 网络算法同时优化循环长度和分割。该循环层次方法有效减少了频繁数据通信的计算负担，同时增强了实际应用的实用性和安全性。为多智能体协作制定了分散的框架，同时整合了注意机制以准确评估当前交叉口周围环境的影响。在大型合成交通网格上使用微观交通仿真工具 SUMO 对 CycLight 进行了测试。实验结果不仅证明了 CycLight 相对于最先进方法的卓越性能，还展示了其对信息传输延迟的稳健性。

    Jan, 2024

  • ADLight：一种使用增强数据的强化学习交通信号控制通用方法

    该研究提出了一种基于增强数据的强化学习方法来训练适用于不同结构的路口的通用模型，其中包括新的代理设计和数据增强方法，使得该模型的泛化性能更好，可以在 SUMO 交通模拟环境中测试其有效性，并成功将训练时间缩短了 80%，性能跟单一环境训练的模型非常接近。

    Oct, 2022

  • DynamicLight: 利用 DRL 动态调整交通信号时长

    本文提出了一个名为 DynamicLight 的两阶段深度强化学习框架，它使用最大队列长度选择正确阶段，并采用深度 Q 学习网络确定相应阶段的持续时间。在此基础上，还引入了两个变体。数字实验表明，DynamicLight 在确定相位持续时间方面可以满足，DynamicLight-Lite 可以与大多数基线方法相匹配或优于大部分基线方法，DynamicLight-Cycle 在当前 TSC 系统方面表现出高性能。

    Nov, 2022

  • 自适应交通信号控制：深度强化学习算法，带有经验回放和目标网络

    本文提出了一种利用深度强化学习算法从实时交通原始数据中自动提取所有有用特征（机器制造的特征）并学习适应性交通信号控制的最优策略，以减少车辆延迟时间的方法，并通过模拟实验结果证明，与其他两种流行的交通信号控制算法相比，我们的算法将车辆延迟缩短了 47％和 86％。

    May, 2017

  • CityLight：一种面向现实世界城市规模交通信号控制协调的通用模型

    交通信号控制是一项具有潜力的低成本措施，可以提高交通效率而不影响现有道路基础设施。本篇论文提出了基于增强学习的城市规模高可靠道路网络交通信号控制方法 CityLight，通过参数共享的 MAPPO 优化框架来实现多个智能体的协同控制和大规模异质交叉口的适配，采用邻域集成奖励以达到全局最优。大量实验证明 CityLight 具有出人意料的效果和推广性，整体性能提升 11.66%，在迁移场景中吞吐量提高了 22.59%。

    Jun, 2024