Jul, 2024
基于图网络的可靠实时城市空中出行车队调度对抗学习框架
A Graph-based Adversarial Imitation Learning Framework for Reliable &
Realtime Fleet Scheduling in Urban Air Mobility
TL;DR城市空中出行（UAM）的广泛采用和经济可行性在一定程度上取决于在UAM网络中如何对飞机机队进行最优调度，其中不确定性包括空域拥塞、变化的天气条件和不同的需求。本文提出了飞机机队调度问题的全面优化形式，同时也指出需要替代的解决方案，因为直接解决生成的非线性整数规划问题在每日机队调度中在计算上是禁止的。先前的研究表明使用（图形）强化学习（RL）方法来训练实时可执行的机队调度策略模型是有效的。然而，这种策略在分布场景或边缘情况下通常是脆弱的。此外，随着问题复杂性（例如约束数量）的增加，训练性能也会下降。为了解决这些问题，本文提出了一种模仿学习方法，其中基于RL的策略利用通过遗传算法解决确切优化问题而产生的专家演示。该策略模型包括基于图神经网络（GNN）的编码器，将垂直港口和飞机嵌入空间，变压器网络对需求、乘客票价和运输成本进行编码，以及基于多头注意力（MHA）的解码器。通过生成对抗性模仿学习（GAIL）算法使用专家演示。与涉及8个垂直港口和40架飞机的UAM模拟环境交互，以日利润奖励为指标，新的模仿方法在平均性能和未知最坏情况场景的显着改进方面优于纯RL结果。