该文介绍了在 UAVs 的 cellular IoT 环境下，使用分布式的 sense-and-send 协议协调 UAVs 进行感知和传输，并应用强化学习解决轨迹控制和资源管理等关键问题的方法。

Nov, 2019

本文探讨了使用无人机作为空中基站提供无线通信服务的动态资源分配问题，并通过多智能体强化学习框架实现了长期收益的最大化。研究结果表明，该算法在信息交互开销和性能提升之间取得了良好的平衡。

Oct, 2018

该论文提出一种新的端到端强化学习方法来规划机载无人机收集物联网中的分布式传感器节点的数据，以实现对下一代通信网络的支持。通过训练一个双重深度 Q 网络来实现对不同情况参数的泛化控制，从而使代理可以根据平衡数据收集目标和飞行时间效率的安全约束，在各种场景参数下做出运动决策。

Jul, 2020

本文旨在通过设计并运用基于最短路径的无人机来提升物联网设备数据的收集和资源分配。同时，设计了一个基于深度强化学习的技术来获取特定区域内的最优轨迹和吞吐量，从而实现了无人机自主收集所有数据的目标，而且显著提高了总速率，最小化了关联资源的使用。实验结果证实了方案在效率、轨迹、时间等方面的优势。

Jun, 2021

本研究旨在探索使用助理无人机的上行语义通信，以提高偏远地区元宇宙用户的数据采集效率。为了在重建质量和计算能量成本之间平衡的同时减少上行数据采集时间，我们提出了一种混合动作强化学习框架，用于在语义模型规模、信道分配、传输功率和无人机轨迹上做出决策。变量分为离散类型和连续类型，并由两个不同的强化学习代理进行优化以生成合并的动作。模拟结果表明，所提出的混合动作强化学习框架可以在不同的参数设置下有效提高上行语义数据采集的效率，并优于基准情况。

Aug, 2023

本文提出了一种无人机辅助的 Metaverse 网络系统模型，通过资源分配和轨迹控制来提高数据收集效率，采用强化学习和凸优化的混合框架来解决时间依赖性优化问题，仿真结果表明该框架能够在给定传输功率资源下减少任务完成时间。

May, 2023

该论文提出了一种新的图注意多智能体信任域（GA-MATR）强化学习框架，用于解决多无人机辅助通信问题，通过引入图递归网络处理和分析通信网络的复杂拓扑结构，从观测信息中提取有用的信息和模式，提供额外的权重，并利用批评网络准确评估无人机基站行为的价值，以实现更可靠的反馈信号，并帮助演员网络更有效地更新策略。模拟实验表明，该方法具有优于基准线的收敛性能，无人机基站学习到了达到最大累积奖励的最佳通信策略，同时，多智能体信任域方法具有单调收敛性，为多无人机辅助通信马尔可夫博弈提供了估计的纳什均衡点。

Jan, 2024

本篇论文提出了一种基于深度 Q 学习的决策算法，使得使用 UAV 和多接入边缘计算设备的无线网络能够有效地监测农田，通过图像分类来预防火灾或洪水等情况，并且与 Q 学习和三种基线算法相比，本文方法在监测效果和性能方面表现出了可比较的结果，而且能够比 Q 学习更快地达到收敛。

Sep, 2022

本文提出了一种针对网络化无人机的干扰感知路径规划方案，使用基于回声状态网络的深度强化学习算法来解决路径规划问题，其中每架无人机旨在实现最大化能量效率和最小化无线延迟和干扰级别。模拟结果表明，该方案在减少对地面用户的干扰和无线传输延迟方面表现优异，并且需要比最短距离启发式基线考虑的步骤数量相当的步骤。

Jan, 2018

该研究提出了一种利用深度强化学习和多智能体强化学习解决多小区蜂窝网络中无线电干扰问题的方案，该方案可在不知道干扰频道信息的情况下提高干扰管理的效能，使民用无人机继续发展。

May, 2023