提出了一种基于数字孪生增强的强化学习框架，旨在优化网络资源管理的性能和可靠性，此框架在物理网络中应用传统的强化学习面临多个统一挑战，包括有限的探索效率、收敛速度缓慢、长期性能较差以及在探索阶段的安全问题。

Jun, 2024

该论文提出一种新的端到端强化学习方法来规划机载无人机收集物联网中的分布式传感器节点的数据，以实现对下一代通信网络的支持。通过训练一个双重深度 Q 网络来实现对不同情况参数的泛化控制，从而使代理可以根据平衡数据收集目标和飞行时间效率的安全约束，在各种场景参数下做出运动决策。

Jul, 2020

5G 及更高网络中多样化网络服务的扩散引发了网络切片技术的出现。其中，接纳控制通过选择性接受服务请求，在实现特定优化目标方面起关键作用。本文提出一种数字孪生（DT）辅助的深度强化学习（DRL）解决方案，以解决 DRL 模型初始不稳定性阻碍其在真实网络中实际部署的问题。通过监督学习建立 DT，并在 DRL 模型的训练阶段利用其辅助。广泛的模拟实验表明，与直接训练的最新状态 Dueling-DQN 相比，DT 辅助的 DRL 模型在初期训练时提高了 40％以上的资源利用率，并且相比于直接训练的 DRL 模型提高了 20％以上。在保持模型优化长期奖励能力的同时实现了这一改进。

Oct, 2023

网络切片通信系统通过动态和高效地分配资源来满足各种服务的需求。本文提出了一种由数字孪生和强化学习代理构成的框架来处理资源分配的问题，并验证了该框架的可扩展性，展示了数字孪生对切片优化策略性能的显著改进。

Nov, 2023

本文提出了一种基于动态无人机辅助的车辆双生物迁移框架，使用空地一体化网络中的无人机作为辅助服务器，以平衡 RSU 的负载并提高双生物迁移质量。模拟结果表明，与其他基准方案相比，基于扩散式强化学习算法和无人机辅助的方法效果更好。

Jun, 2024

本文提出了一种 Digital Twin 辅助的 RL 任务调度方法，在探索效率上通过 DT 显著提高 RL 的收敛速度，使用 DT 模拟智能体做出的不同决策，从而实现探索多种行动并行交互的效果，提高了更快的数据分析能力和收敛效果。

Aug, 2022

在 5G 移动通信时代，研究聚焦于无人机和移动边缘计算技术方面出现了显著增长。本研究提出了一种名为个性化联邦深度强化学习（PF-DRL）的新解决方案，用于多无人机轨迹优化。模拟结果表明，该算法具有更快的收敛速度和改善服务质量，优于其他基于深度强化学习的方法。

Sep, 2023

数字孪生（DT）对于实现可持续和有效的智慧城市解决方案至关重要，但现有的 DT 建模技术无法支持智慧城市环境的动态性，本研究探讨了时空图，并提出了基于强化学习的自适应孪生（RL-AT）机制，通过深度 Q 网络（DQN）的方法来填补该空白，该研究在精确性、同步性、资源优化和能源效率方面做出了贡献，时空图模型能够以更一致的精确性提供 55% 更高的查询性能，此外，我们的模型还证明了较低的开销和节能消耗率，实现了合理时间的数据获取，开销下降了 20%，能源消耗下降了 25%。

Jan, 2024

本文旨在通过设计并运用基于最短路径的无人机来提升物联网设备数据的收集和资源分配。同时，设计了一个基于深度强化学习的技术来获取特定区域内的最优轨迹和吞吐量，从而实现了无人机自主收集所有数据的目标，而且显著提高了总速率，最小化了关联资源的使用。实验结果证实了方案在效率、轨迹、时间等方面的优势。

Jun, 2021

采用可解释的深度学习方法为指导和规划的无人机构建了一个仿真环境，其中包括障碍和对抗性攻击，并建立了对此的对抗性攻击检测器

Jun, 2022