Mar, 2024
有限通信范围下的线性二次网络控制的分布式策略梯度
Distributed Policy Gradient for Linear Quadratic Networked Control with
Limited Communication Range
TL;DR本文提出了一种可扩展的分布式策略梯度方法，并证明其在多智能体线性二次网络系统中收敛于近似最优解。代理在指定网络内根据局部通信约束进行交互，即每个代理只能与有限数量的相邻代理交换信息。在网络的基础图上，每个代理在线性二次控制环境中根据附近邻居的状态实施其控制输入。我们表明只使用局部信息可以近似计算出精确的梯度。与集中式最优控制器相比，随着通信和控制范围的增加，性能差异指数级下降至零。我们还展示了如何增加通信范围来增强梯度下降过程中的系统稳定性，从而阐明了一个关键的权衡。仿真结果验证了我们的理论发现。