Dec, 2023

深度调度：基于深度强化学习的先进空中机动性车辆调度算法

PDF
TL;DR进行近未来空中出租车运营，并使用电动垂直起降 (eVTOL) 飞行器，在频繁充电、垂直机场上有限的起降区以及时变需求和电价限制下，eVTOL 调度问题是独特而具有挑战性的。本文通过发展基于深度强化学习的两种 eVTOL 调度算法，即单智能体和多智能体深度 Q-learning eVTOL 调度算法，旨在最大化运营利润。建立了一个基于 eVTOL 的乘客运输仿真环境，通过 36 个数值实验评估了算法的性能，覆盖不同数量的 eVTOLs、垂直机场和需求情况。结果表明，多智能体 eVTOL 调度算法在计算开销显著减少的情况下，能够接近近优的调度策略。与单智能体算法相比，多智能体算法在产生利润和训练时间方面表现更好。
evtoldispatchrechargingoptimization modelsdeep reinforcement learning
发现论文，激发创造
  • 基于事件的深度强化学习应用于动态车辆调度问题

    本文提出了一种基于半马尔可夫决策过程和离散事件模拟的动态车辆调度问题解决方法，并在纽约市的真实场景下进行了数值实验，结果显示相对于其他启发式策略，该方法的平均等待时间减少了 50%。

    Jul, 2023

  • 野外强化学习：在打车市场部署的可扩展的强化学习调度算法

    本研究提出了一种基于强化学习的实时调度算法，采用了新型的时间差异价值更新方法，并引入了自适应图剪枝策略，实现了 A/B 测试下司机收入总量提升超过 1.3％和全面部署后主要性能指标提升达到 5.3％的显著性能提升。

    Feb, 2022

  • 基于深度强化学习的移动能量分发框架用于充电中的道路电动车

    电动车、无线充电、车辆调度、深度强化学习、移动能源传播是本研究的关键词。通过使用深度强化学习方法，本论文提出了一个车辆调度框架，可以显著提升电动车的行驶里程并更高效地部署移动能源传播装置。该模型具有实用性和可行性，可帮助用户最大程度地延长电动车的续航里程，并帮助道路管理机构或私营部门有效管理移动能源传播装置的部署。

    Aug, 2023

  • 基于深度价值网络的多司机订单调度方法

    本文提出了基于深度强化学习的骑乘共享订单分配方案，其中模拟骑乘分配问题为半马尔可夫决策过程，并使用分布式状态表示层设计 Cerebellar Value Networks (CVNet) 以提高非线性函数逼近器 (如神经网络) 的值迭代的稳定性；最后，通过 AB 测试和离线模拟验证，在优化司机的总收入和提高用户体验方面，CVNet 相对于其他分配方法具有一定的优势，而经过有效的迁移学习后，CVNet 的性能进一步得到了提高。

    Jun, 2021

  • 城市空中移动的自组织到达系统

    城市空中移动是一种创新的交通方式，其中电动垂直起降（eVTOL）飞行器在被称为垂直机场的节点之间运行。我们基于深度强化学习，概述了一种自组织垂直机场到达系统。我们研究了在训练过程中强化学习策略的发展，并且展示了算法从次优的局部保持模式逐步转变为安全高效的最终策略。后者通过基于仿真的场景验证，并在小型无人机上进行了真实世界可用性的展示。

    Apr, 2024

  • MOVI：一种无模型动态船舶管理方法

    通过一个基于 1500 万次出租车记录的仿真实验，我们展示了一个全新的对于车辆调度问题建模的思路，并且展示了这种思路优于其他传统算法。同时，我们的结果也提示出，在实际场景中，独立决策的分布式策略在实践中更加有效。

    Apr, 2018

  • 深度强化学习下的优化经济燃气轮机调度

    对于加拿大阿尔伯塔省的案例研究中，通过将西门子公司提供的热力学软件纳入环境模型，并通过模拟不确定性，如电力价格、负载和环境条件的变化，我们实施了三种常见的深度强化学习算法来处理经济型燃气轮机调度问题。在所测试的算法和基准方法中，深度 Q 网络（DQN）获得了最高的奖励，而近端策略优化（PPO）是最高效的方法。我们进一步提出并实施了一种动态分配燃气轮机运行和维护成本的方法，基于运行时间和循环数，与现有方法相比，我们的方法更好地近似了现代燃气轮机调度的真实成本，因此导致了更现实的策略。

    Aug, 2023

  • 使用模型增强的强化学习优化出租车车队的随机路由

    本论文提出了一种基于模型的派遣算法、基于高性能模型无关的强化学习算法和将自顶向下方法和模型无关强化学习的优点结合的新型混合算法，以路线优化策略的形式为车队提供路线规划，研究了面对实时、随机需求的情况下，在小到中型的道路网络中，对街道叫车服务的路线进行优化；使用基于代理的大规模微观仿真平台，评估了提出的算法在人工道路网络和社区基础新加坡道路网络中的表现，结果显示出基于模型的派遣算法、基于高性能模型无关的强化学习算法和混合算法在性能上均表现出色，并且混合算法可以显著加速模型无关学习者的学习过程。

    Oct, 2020

  • 基于图学习的城市空中移动车队调度：面向运营约束、需求变动和不确定性

    本文提出了一种基于图强化学习的方法，用于在线规划多个垂降站之间的电动飞机航班和目的地。训练数据表明，这种方法在性能和效率方面表现优秀。

    Jan, 2024

  • 电动汽车车辆 - 网格供应路线问题的强化学习方法

    本研究基于强化学习算法，从车辆装载容量、时间窗口、能量供应等多个因素出发，在大规模客户和配电站环境下，构建了满足多个系统目标的电动车路由模型，并通过实验证明，该方法不但在速度上快于混合整数线性规划和遗传算法元启发式算法，而且结果质量接近最优解。

    Apr, 2022