提出了一种基于数字孪生增强的强化学习框架，旨在优化网络资源管理的性能和可靠性，此框架在物理网络中应用传统的强化学习面临多个统一挑战，包括有限的探索效率、收敛速度缓慢、长期性能较差以及在探索阶段的安全问题。

Jun, 2024

5G 及更高网络中多样化网络服务的扩散引发了网络切片技术的出现。其中，接纳控制通过选择性接受服务请求，在实现特定优化目标方面起关键作用。本文提出一种数字孪生（DT）辅助的深度强化学习（DRL）解决方案，以解决 DRL 模型初始不稳定性阻碍其在真实网络中实际部署的问题。通过监督学习建立 DT，并在 DRL 模型的训练阶段利用其辅助。广泛的模拟实验表明，与直接训练的最新状态 Dueling-DQN 相比，DT 辅助的 DRL 模型在初期训练时提高了 40％以上的资源利用率，并且相比于直接训练的 DRL 模型提高了 20％以上。在保持模型优化长期奖励能力的同时实现了这一改进。

Oct, 2023

网络切片通信系统通过动态和高效地分配资源来满足各种服务的需求。本文提出了一种由数字孪生和强化学习代理构成的框架来处理资源分配的问题，并验证了该框架的可扩展性，展示了数字孪生对切片优化策略性能的显著改进。

Nov, 2023

通过引入数字孪生技术来减少无人机网络实际训练的成本，该方法使用两个级联神经网络进行优化，同时保证了训练性能。

Oct, 2023

我们提出了一种基于深度强化学习和数字孪生技术的新型微服务卸载算法 DTDRLMO，该算法利用数字孪生技术实时预测和适应协作边缘计算环境的负载和网络条件，从而为每个微服务选择最合适的边缘节点，优化服务完成时间。在真实和合成数据集上的模拟结果表明 DTDRLMO 在平均服务完成时间方面优于启发式和基于学习的方法。

Mar, 2024

本文提出了一种新的数字孪生网络（DTN）模型来帮助 IIoT 系统中的网络拓扑和随机任务到达模型，进而将随机计算卸载和资源分配问题转化为 Lyapunov 优化问题，并使用异步 Actor-Critic 算法来找到最优的随机计算卸载策略和提高能源效率。研究结果表明，该方案显著优于基准。

Nov, 2020

数字孪生（DT）对于实现可持续和有效的智慧城市解决方案至关重要，但现有的 DT 建模技术无法支持智慧城市环境的动态性，本研究探讨了时空图，并提出了基于强化学习的自适应孪生（RL-AT）机制，通过深度 Q 网络（DQN）的方法来填补该空白，该研究在精确性、同步性、资源优化和能源效率方面做出了贡献，时空图模型能够以更一致的精确性提供 55% 更高的查询性能，此外，我们的模型还证明了较低的开销和节能消耗率，实现了合理时间的数据获取，开销下降了 20%，能源消耗下降了 25%。

Jan, 2024

该研究采用交易方法，将多智能体强化学习应用于模拟的调度环境中，研究分布式代理体系结构及自主定价在任务分配中的应用。

Jul, 2022

深度强化学习 (DRL) 在机器调度问题中的方法和应用进行了全面的综述和比较，发现 DRL 方法在计算速度和生成接近全局最优解方面表现优于其他方法，但面临着处理复杂操作约束、多目标优化、泛化性、可扩展性、解释性和鲁棒性等限制，解决这些挑战将是未来研究中的关键焦点。该论文为研究人员评估当前 DRL 机器调度领域的现状以及发现研究空白提供了宝贵的资源，同时也帮助专家和从业者选择适合生产调度的 DRL 方法。

Oct, 2023

提出了一种适用于基于数字孪生的无线网络的离线多智能体保守分位回归 (MA-CQR) 方案，通过集成分布式强化学习和保守 Q 学习来解决环境的内在的随机性不确定性和数据有限性导致的认识不确定性。在无人机网络中应用该方案，展示了其对轨迹规划问题的优势。

Feb, 2024